分类：scrapy

2020
12-07

scrapy头部修改的方法详解

被Scrapy自动添加的头部在没有任何配置的情况下，scrapy会对请求默认加上一些头部信息Scrapy会通过配置文件中的USER_AGENT配置，自动为头部添加User-Agent，这条配置会被任何包含User-Agent的配置覆盖当请求经过下载器后，会被自动添加头部Accept-Encoding:gzip,deflate,会被任意包含Accept-Encoding的头部配置覆盖配置settings.py文件中默认的头部#DEFAULT_REQUEST_HEADERS={#'Accept':'text/html,application/xhtml+xml,ap... 继续阅读 >

2020
11-25

python爬虫使用scrapy注意事项

在学习中，如果遇到问题把它们都收集整理出来，长期保存之后也是一份经验之谈。小编跟大家讲了这么久的scrapy框架，在自己学习的整理和小伙伴们的交流反馈中也累积了不少心得。想着有些小伙伴在python学习的时候有点丢三落四的毛病，特意整理出来scrapy在python爬虫使用中需要注意的事项，大家一起看看吧。1.如果需要大批量分布式爬取，建议采用Redis数据库存储，可安装scrapy-redis，使用redis数据库来替换scrapy原本使用的队列结... 继续阅读 >

2020
11-25

python爬虫用scrapy获取影片的实例分析

我们平时生活的娱乐中，看电影是大部分小伙伴都喜欢的事情。周围的人总会有意无意的在谈论，有什么影片上映，好不好看之类的话题，没事的时候谈论电影是非常不错的话题。那么，一些好看的影片如果不去电影院的话，在其他地方看都会有大大小小的限制，今天小编就教大家用python中的scrapy获取影片的办法吧。1. 创建项目运行命令:scrapystartprojectmyfrist（your_project_name）文件说明：名称|作用--|--scrapy.cfg|... 继续阅读 >

2020
11-25

python爬虫scrapy图书分类实例讲解

我们去图书馆的时候，会直接去自己喜欢的分类栏目找寻书籍。如果其中的分类不是很细致的话，想找某一本书还是有一些困难的。同样的如果我们获取了一些图书的数据，原始的文件里各种数据混杂在一起，非常不利于我们的查找和使用。所以今天小编教大家如何用python爬虫中scrapy给图书分类，大家一起学习下：spider抓取程序：在贴上代码之前，先对抓取的页面和链接做一个分析：网址：http://category.dangdang.com/pg4-cp01.25.17.00.0... 继续阅读 >

2020
11-25

scrapy处理python爬虫调度详解

学习了简单的知识点，就会想要向有难度的问题挑战，这里必须要夸一夸小伙伴们。不过我们今天不需要做什么程序的测试，只用简单的两个代码对比，小伙伴们就能在其中体会两者的不同和难易程度。scrapy能否适合处理python爬虫调度的问题，小编直接说出答案小伙伴们也不能马上信服，下面就让我们在示例中找寻答案吧。总的来说，需要使用代码来爬一些数据的大概分为两类人：非程序员，需要爬一些数据来做毕业设计、市场调研等等，他们可... 继续阅读 >

2020
11-22

scrapy在python爬虫中搭建出错的解决方法

在之前文章给大家分享后不久，就有位小伙伴跟小编说在用scrapy搭建python爬虫中出现错误了。一开始的时候小编也没有看出哪里有问题，好在经过不断地讨论与测试，最终解决了出错点的问题。有同样出错的小伙伴可要好好看看到底是哪里疏忽了，小编这里先不说出问题点。问题描述：安装位置：环境变量：解决办法：文件命名叫scrapy.py，明显和scrapy自己的包名冲突了，这里classStackOverFlowSpider(scrapy.Spider)会直接找当前文件(s... 继续阅读 >

2020
11-22

python中scrapy处理项目数据的实例分析

在我们处理完数据后，习惯把它放在原有的位置，但是这样也会出现一定的隐患。如果因为新数据的加入或者其他种种原因，当我们再次想要启用这个文件的时候，小伙伴们就会开始着急却怎么也翻不出来，似乎也没有其他更好的搜集办法，而重新进行数据整理显然是不现实的。下面我们就一起看看python爬虫中scrapy处理项目数据的方法吧。1、拉取项目$gitclonehttps://github.com/jonbakerfish/TweetScraper.git$cdTweetScraper/$pipi... 继续阅读 >

2020
11-19

scrapy redis配置文件setting参数详解

scrapy项目setting.py#Resis设置#使能Redis调度器SCHEDULER='scrapy_redis.scheduler.Scheduler'#所有spider通过redis使用同一个去重过滤器DUPEFILTER_CLASS='scrapy_redis.dupefilter.RFPDupeFilter'#不清除Redis队列、这样可以暂停/恢复爬取#SCHEDULER_PERSIST=True#SCHEDULER_QUEUE_CLASS='scrapy_redis.queue.PriorityQueue'#默认队列，优先级队列#备用队列。#SCHEDULER_QUEUE_CLASS='scrapy_redis.queue.FifoQueu... 继续阅读 >

2020
11-19

详解Scrapy Redis入门实战

简介scrapy-redis是一个基于redis的scrapy组件，用于快速实现scrapy项目的分布式部署和数据爬取，其运行原理如下图所示。Scrapy-Redis特性分布式爬取你可以启动多个共享同一redis队列的爬虫实例，多个爬虫实例将各自提取到或者已请求的Requests在队列中统一进行登记，使得Scheduler在请求调度时能够对重复Requests进行过滤，即保证已经由某一个爬虫实例请求过的Request将不会再被其他的爬虫实例重复请求。分布式数据处理将scrapy爬... 继续阅读 >

2020
11-19

如何在scrapy中集成selenium爬取网页的方法

1.背景我们在爬取网页时一般会使用到三个爬虫库：requests，scrapy，selenium。requests一般用于小型爬虫，scrapy用于构建大的爬虫项目，而selenium主要用来应付负责的页面（复杂js渲染的页面，请求非常难构造，或者构造方式经常变化）。在我们面对大型爬虫项目时，肯定会优选scrapy框架来开发，但是在解析复杂JS渲染的页面时，又很麻烦。尽管使用selenium浏览器渲染来抓取这样的页面很方便，这种方式下，我们不需要关心页面... 继续阅读 >

2020
11-19

如何向scrapy中的spider传递参数的几种方法

有时需要根据项目的实际需求向spider传递参数以控制spider的行为，比如说，根据用户提交的url来控制spider爬取的网站。在这种情况下，可以使用两种方法向spider传递参数。第一种方法，在命令行用crawl控制spider爬取的时候，加上-a选项，例如：scrapycrawlmyspider-acategory=electronics然后在spider里这样写：importscrapyclassMySpider(scrapy.Spider):name='myspider'def__init__(self,category=None,*args,**... 继续阅读 >

2020
11-19

关于python scrapy中添加cookie踩坑记录

问题发现：前段时间项目中，为了防止被封号(提供的可用账号太少)，对于能不登录就可以抓取的内容采用不带cookie的策略，只有必要的内容才带上cookie去访问。本来想着很简单：在每个抛出来的Request的meta中带上一个标志位，通过在CookieMiddleware中查看这个标志位，决定是否是给这个Request是否装上Cookie。实现的代码大致如下：classCookieMiddleware(object):"""每次请求都随机从账号池中选择一个账号去访问"""def__... 继续阅读 >

2020
10-10

Scrapy爬虫文件批量运行的实现

Scrapy批量运行爬虫文件的两种方法：1、使用CrawProcess实现https://doc.scrapy.org/en/latest/topics/practices.html2、修改craw源码+自定义命令的方式实现（1）我们打开scrapy.commands.crawl.py 文件可以看到：defrun(self,args,opts):iflen(args)<1:raiseUsageError()eliflen(args)>1:raiseUsageError("running'scrapycrawl'withmorethanonespiderisnolongersupported")s... 继续阅读 >

2020
10-10

如何使用scrapy中的ItemLoader提取数据

1.简述我们在用scrapy爬取数据时，首先就要明确我们要爬取什么数据。scrapy提供了Item对象这种简单的容器，我们可以通过Item定义提取数据的格式，需要爬取哪些字段，其提供了类似于字典的API以及用于声明可用字段的简单语法。如下所示：下面以爬取伯乐在线文章详情页为范例：http://blog.jobbole.com/all-posts/#文件items.py#Item使用简单的class定义语法以及Field对象来声明。importscrapyclassarticleDetailItem(scrapy... 继续阅读 >

2020
10-10

使用py-spy解决scrapy卡死的问题方法

背景在使用scrapy爬取东西的时候，使用crontab定时的启动爬虫，但是发现机器上经常产生很多卡死的scrapy进程，一段时间不管的话，会导致有10几个进程都卡死在那，并且会导致数据产出延迟。问题定位使用py-spy这个非常好用的python性能分析工具来进行排查，py-spy可以查看一个python进程函数调用用时，类似unix下的top命令。所以我们用这个工具看看是什么函数一直在执行。首先安装这个工具pipinstallpy-spy用py-spy看看scrapy哪个... 继续阅读 >

2020
10-10

scrapy-redis分布式爬虫的搭建过程(理论篇)

1.背景Scrapy是一个通用的爬虫框架，但是不支持分布式，Scrapy-redis是为了更方便地实现Scrapy分布式爬取，而提供了一些以redis为基础的组件(仅有组件)。 2.环境系统：win7scrapy-redisredis3.0.5python3.6.13.原理3.1.对比一下scrapy和Scrapy-redis的架构图。scrapy架构图：scrapy-redis架构图：多了一个redis组件，主要影响两个地方：第一个是调度器。第二个是数据的处理。3.2.Scrapy-Redis分布... 继续阅读 >