分类：爬取列表

2021
01-21

详解Python爬虫爬取博客园问题列表所有的问题

一.准备工作首先，本文使用的技术为python+requests+bs4，没有了解过可以先去了解一下。我们的需求是将博客园问题列表中的所有问题的题目爬取下来。 二.分析：首先博客园问题列表页面右键点击检查通过Element查找问题所对应的属性或标签可以发现在divclass="one_entity"中存在页面中分别对应每一个问题接着divclass="news_item"中h2标签下是我们想要拿到的数据三.代码实现首先导入requests和BeautifulSoupim... 继续阅读 >