分类：selenium爬取数据

2020
10-10

scrapy与selenium结合爬取数据(爬取动态网站)的示例代码

scrapy框架只能爬取静态网站。如需爬取动态网站，需要结合着selenium进行js的渲染，才能获取到动态加载的数据。如何通过selenium请求url，而不再通过下载器Downloader去请求这个url?方法：在request对象通过中间件的时候，在中间件内部开始使用selenium去请求url，并且会得到url对应的源码，然后再将  源代码通过response对象返回，直接交给process_response()进行处理，再交给引擎。过程中相当于后续中间件的proc... 继续阅读 >

2020
10-10

scrapy利用selenium爬取豆瓣阅读的全步骤

首先创建scrapy项目命令：scrapystartprojectdouban_read创建spider命令：scrapygenspiderdouban_spiderurl网址：https://read.douban.com/charts关键注释代码中有，若有不足，请多指教scrapy项目目录结构如下douban_spider.py文件代码爬虫文件importscrapyimportre,jsonfrom..itemsimportDoubanReadItemclassDoubanSpiderSpider(scrapy.Spider):name='douban_spider'#allowed_domains=['www']start_urls=['... 继续阅读 >