分类：翻页爬取

2021
01-08

scrapy实践之翻页爬取的实现

安装Scrapy的安装很简单，官方文档也有详细的说明http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/install.html。这里不详细说明了。在scrapy框架中，spider具有以下几个功能1.定义初始爬取的url2.定义爬取的行为，是否跟进链接3.从网页中提取结构化数据所谓的跟进链接，其实就是自动爬取该页的所有链接，然后顺着对应的链接延伸开来不断爬取，这样只需要提供一个网站首页，理论上就可以实现网站全部页面的爬取，实现点到... 继续阅读 >