分类：redis分布式爬虫

2020
10-10

scrapy-redis分布式爬虫的搭建过程(理论篇)

1.背景Scrapy是一个通用的爬虫框架，但是不支持分布式，Scrapy-redis是为了更方便地实现Scrapy分布式爬取，而提供了一些以redis为基础的组件(仅有组件)。 2.环境系统：win7scrapy-redisredis3.0.5python3.6.13.原理3.1.对比一下scrapy和Scrapy-redis的架构图。scrapy架构图：scrapy-redis架构图：多了一个redis组件，主要影响两个地方：第一个是调度器。第二个是数据的处理。3.2.Scrapy-Redis分布... 继续阅读 >

2020
10-10

Scrapy基于scrapy_redis实现分布式爬虫部署的示例

准备工作1.安装scrapy_redis包,打开cmd工具,执行命令pipinstallscrapy_redis2.准备好一个没有BUG,没有报错的爬虫项目3.准备好redis主服务器还有跟程序相关的mysql数据库前提mysql数据库要打开允许远程连接,因为mysql安装后root用户默认只允许本地连接,详情请看此文章部署过程1.修改爬虫项目的settings文件在下载的scrapy_redis包中,有一个scheduler.py文件,里面有一个Scheduler类,是用来调度url,还有一个dupefilter.py文件,里面... 继续阅读 >