分类：分布式爬虫

2021
05-02

基于python分布式爬虫并解决假死的问题

python版本：3.5.4系统：win10x64通过网页下载视频方法一：使用urllib.retrieve函数放函数只需要两个参数即可下载相应内容到本地，一个是网址，一个是保存位置importurllib.requesturl='http://xxx.com/xxx.mp4'file='xxx.mp4'urllib.request.retrieve(url,file)但是博主在使用过程中发现，该函数没有timeout方法。使用时，可能由于网络问题导致假死！方法二：使用urllib.request.urlopen函数使用方法如下：importurllib.r... 继续阅读 >

2020
11-29

python分布式爬虫中消息队列知识点详解

当排队等待人数过多的时候，我们需要设置一个等待区防止秩序混乱，同时再有新来的想要排队也可以呆在这个地方。那么在python分布式爬虫中，消息队列就相当于这样的一个区域，爬虫要进入这个区域找寻自己想要的资源，当然这个是一定的次序的，不然数据获取就会出现重复。就下来我们就python分布式爬虫中的消息队列进行详细解释，小伙伴们可以进一步了解一下。实现分布式爬取的关键是消息队列，这个问题以消费端为视角更容易理解。你... 继续阅读 >

2020
10-10

Scrapy基于scrapy_redis实现分布式爬虫部署的示例

准备工作1.安装scrapy_redis包,打开cmd工具,执行命令pipinstallscrapy_redis2.准备好一个没有BUG,没有报错的爬虫项目3.准备好redis主服务器还有跟程序相关的mysql数据库前提mysql数据库要打开允许远程连接,因为mysql安装后root用户默认只允许本地连接,详情请看此文章部署过程1.修改爬虫项目的settings文件在下载的scrapy_redis包中,有一个scheduler.py文件,里面有一个Scheduler类,是用来调度url,还有一个dupefilter.py文件,里面... 继续阅读 >