分类：scrapy

2020
10-10

Scrapy基于scrapy_redis实现分布式爬虫部署的示例

准备工作1.安装scrapy_redis包,打开cmd工具,执行命令pipinstallscrapy_redis2.准备好一个没有BUG,没有报错的爬虫项目3.准备好redis主服务器还有跟程序相关的mysql数据库前提mysql数据库要打开允许远程连接,因为mysql安装后root用户默认只允许本地连接,详情请看此文章部署过程1.修改爬虫项目的settings文件在下载的scrapy_redis包中,有一个scheduler.py文件,里面有一个Scheduler类,是用来调度url,还有一个dupefilter.py文件,里面... 继续阅读 >

2020
10-10

详解基于Scrapy的IP代理池搭建

一、为什么要搭建爬虫代理池在众多的网站防爬措施中，有一种是根据ip的访问频率进行限制，即在某一时间段内，当某个ip的访问次数达到一定的阀值时，该ip就会被拉黑、在一段时间内禁止访问。应对的方法有两种：1.降低爬虫的爬取频率，避免IP被限制访问，缺点显而易见：会大大降低爬取的效率。2.搭建一个IP代理池，使用不同的IP轮流进行爬取。二、搭建思路1、从代理网站(如：西刺代理、快代理、云代理、无忧代理)爬取代理IP；2、验... 继续阅读 >

2020
10-10

如何在scrapy中捕获并处理各种异常

前言  使用scrapy进行大型爬取任务的时候（爬取耗时以天为单位），无论主机网速多好，爬完之后总会发现scrapy日志中“item_scraped_count”不等于预先的种子数量，总有一部分种子爬取失败，失败的类型可能有如下图两种（下图为scrapy爬取结束完成时的日志）：scrapy中常见的异常包括但不限于：downloaderror（蓝色区域）,httpcode403/500（橙色区域）。不管是哪种异常，我们都可以参考scrapy自带的retry中间件写法... 继续阅读 >

2020
10-10

记录一下scrapy中settings的一些配置小结

本文主要介绍了scrapysettings配置，分享给大家，具体如下：#字符编码FEED_EXPORT_ENCODING='utf-8'#redis写法一#REDIS_URL='redis://localhost:6379'#redis写法二REDIS_HOST='192.168.10.223'REDIS_PORT=6379#默认的scrapyredis会读取下面的密码和dbREDIS_PARAMS={'password':'123456','db':redis_db}#对于失败的HTTP请求(如超时)进行重试会降低爬取效率，当爬取目标基数很大时，舍弃部分数据不影响大局... 继续阅读 >

2020
10-10

使用scrapy ImagesPipeline爬取图片资源的示例代码

这是一个使用scrapy的ImagesPipeline爬取下载图片的示例，生成的图片保存在爬虫的full文件夹里。scrapystartprojectDoubanImgscdDoubanImgsscrapygenspiderdownload_douban douban.comvimspiders/download_douban.py#coding=utf-8fromscrapy.spidersimportSpiderimportrefromscrapyimportRequestfrom..itemsimportDoubanImgsItemclassdownload_douban(Spider):name='download_douban'default_header... 继续阅读 >

2020
10-10

详解scrapy内置中间件的顺序

1.内置下载器中间件顺序{'scrapy.downloadermiddlewares.ajaxcrawl.AjaxCrawlMiddleware':560,'scrapy.downloadermiddlewares.cookies.CookiesMiddleware':700,'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware':400,'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware':350,'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware':300,'scrapy.downloadermiddlew... 继续阅读 >

2020
10-10

Scrapy 配置动态代理IP的实现

应用Scrapy框架，配置动态IP处理反爬。#settings配置中间件DOWNLOADER_MIDDLEWARES={'text.middlewares.TextDownloaderMiddleware':543,#'text.middlewares.RandomUserAgentMiddleware':544,#'text.middlewares.CheckUserAgentMiddleware':545,'text.middlewares.ProxyMiddleware':546,'text.middlewares.CheckProxyMiddleware':547}#settings配置可用动态IPPROXIES=["http://101.231.104.82:80",... 继续阅读 >

2020
10-10

Scrapy中如何向Spider传入参数的方法实现

在使用Scrapy爬取数据时，有时会碰到需要根据传递给Spider的参数来决定爬取哪些Url或者爬取哪些页的情况。例如，百度贴吧的放置奇兵吧的地址如下，其中kw参数用来指定贴吧名称、pn参数用来对帖子进行翻页。https://tieba.baidu.com/f?kw=放置奇兵&ie=utf-8&pn=250如果我们希望通过参数传递的方式将贴吧名称和页数等参数传给Spider，来控制我们要爬取哪一个贴吧、爬取哪些页。遇到这种情况，有以下两种方法向Spider传递参数。... 继续阅读 >

2020
10-10

详解向scrapy中的spider传递参数的几种方法(2种)

有时需要根据项目的实际需求向spider传递参数以控制spider的行为，比如说，根据用户提交的url来控制spider爬取的网站。在这种情况下，可以使用两种方法向spider传递参数。第一种方法，在命令行用crawl控制spider爬取的时候，加上-a选项，例如：scrapycrawlmyspider-acategory=electronics然后在spider里这样写：importscrapyclassMySpider(scrapy.Spider):name='myspider'def__init__(self,category=None,*args,**... 继续阅读 >

2020
10-10

scrapy与selenium结合爬取数据(爬取动态网站)的示例代码

scrapy框架只能爬取静态网站。如需爬取动态网站，需要结合着selenium进行js的渲染，才能获取到动态加载的数据。如何通过selenium请求url，而不再通过下载器Downloader去请求这个url?方法：在request对象通过中间件的时候，在中间件内部开始使用selenium去请求url，并且会得到url对应的源码，然后再将  源代码通过response对象返回，直接交给process_response()进行处理，再交给引擎。过程中相当于后续中间件的proc... 继续阅读 >

2020
10-10

scrapy结合selenium解析动态页面的实现

 1.问题虽然scrapy能够完美且快速的抓取静态页面，但是在现实中，目前绝大多数网站的页面都是动态页面，动态页面中的部分内容是浏览器运行页面中的JavaScript脚本动态生成的，爬取相对困难；比如你信心满满的写好了一个爬虫，写好了目标内容的选择器，一跑起来发现根本找不到这个元素，当时肯定一万个黑人问号于是你在浏览器里打开F12，一顿操作，发现原来这你妹的是ajax加载的，不然就是硬编码在js代码里的，blabla的…然后... 继续阅读 >

2020
10-10

scrapy中如何设置应用cookies的方法(3种)

本人是python3.6总的来说，scrapy框架中设置cookie有三种方式。第一种：setting文件中设置cookie当COOKIES_ENABLED是注释的时候scrapy默认没有开启cookie当COOKIES_ENABLED没有注释设置为False的时候scrapy默认使用了settings里面的cookie当COOKIES_ENABLED设置为True的时候scrapy就会把settings的cookie关掉，使用自定义cookie所以当我使用settings的cookie的时候，又把COOKIES_ENABLED设置为True，scrapy就会把settings的cookie... 继续阅读 >

2020
10-10

scrapy利用selenium爬取豆瓣阅读的全步骤

首先创建scrapy项目命令：scrapystartprojectdouban_read创建spider命令：scrapygenspiderdouban_spiderurl网址：https://read.douban.com/charts关键注释代码中有，若有不足，请多指教scrapy项目目录结构如下douban_spider.py文件代码爬虫文件importscrapyimportre,jsonfrom..itemsimportDoubanReadItemclassDoubanSpiderSpider(scrapy.Spider):name='douban_spider'#allowed_domains=['www']start_urls=['... 继续阅读 >

2020
10-10

Scrapy项目实战之爬取某社区用户详情

本文介绍了Scrapy项目实战之爬取某社区用户详情，分享给大家，具有如下：get_cookies.pyfromseleniumimportwebdriverfrompymongoimportMongoClientfromscrapy.crawlerimportoverridden_settings#fromsegmentfaultimportsettingsimporttimeimportsettingsclassGetCookies(object):def__init__(self):#初始化组件#设定webdriver选项self.opt=webdriver.ChromeOptions()#self.opt.add_argument("--hea... 继续阅读 >

2020
10-09

简述python Scrapy框架

一、Scrapy框架简介Scrapy是用纯Python实现一个为了爬取网站数据，提取结构性数据而编写的应用框架，用途非常广泛。利用框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常的方便。它使用Twisted这个异步网络库来处理网络通讯，架构清晰，并且包含了各种中间件接口，可以灵活的完成各种需求。Scrapy是Python世界里面最强大的爬虫框架，它比BeautifulSoup更加完善，BeautifulSoup可以... 继续阅读 >

2020
10-08

详解Python的爬虫框架 Scrapy

网络爬虫，是在网上进行数据抓取的程序，使用它能够抓取特定网页的HTML数据。虽然我们利用一些库开发一个爬虫程序，但是使用框架可以大大提高效率，缩短开发时间。Scrapy是一个使用Python编写的，轻量级的，简单轻巧，并且使用起来非常的方便。一、概述下图显示了Scrapy的大体架构，其中包含了它的主要组件及系统的数据处理流程（绿色箭头所示）。下面就来一个个解释每个组件的作用及数据的处理过程（注：图片来自互联网）。二、组... 继续阅读 >