2020
10-08
10-08
Python Scrapy多页数据爬取实现过程解析
1.先指定通用模板url='https://www.qiushibaike.com/text/page/%d/'#通用的url模板pageNum=12.对parse方法递归处理parse第一次调用表示的是用来解析第一页对应页面中的数据对后面的页码的数据要进行手动发送ifself.pageNum<=5:self.pageNum+=1new_url=format(self.url%self.pageNum)#手动请求(get)的发送yieldscrapy.Request(new_url,callback=self.parse)完整示例classQiubaiSpider(scrapy.Spider):name=...
继续阅读 >