分类：爬虫框架

2021
05-26

上手简单,功能强大的Python爬虫框架——feapder

简介feapder是一款上手简单，功能强大的Python爬虫框架，使用方式类似scrapy，方便由scrapy框架切换过来，框架内置3种爬虫：AirSpider爬虫比较轻量，学习成本低。面对一些数据量较少，无需断点续爬，无需分布式采集的需求，可采用此爬虫。Spider是一款基于redis的分布式爬虫，适用于海量数据采集，支持断点续爬、爬虫报警、数据自动入库等功能BatchSpider是一款分布式批次爬虫，对于需要周期性采集的数据，优先考虑使... 继续阅读 >
2021
01-21

python Scrapy爬虫框架的使用

导读：如何使用scrapy框架实现爬虫的4步曲？什么是CrawSpider模板？如何设置下载中间件？如何实现Scrapyd远程部署和监控？想要了解更多，下面让我们来看一下如何具体实现吧！Scrapy安装（mac）pipinstallscrapy注意：不要使用commandlinetools自带的python进行安装，不然可能报架构错误；用brew下载的python进行安装。Scrapy实现爬虫新建爬虫scrapystartprojectdemoSpider，demoSpider为项目名。确定目标编写items.py，如... 继续阅读 >
2020
10-30

node.js爬虫框架node-crawler初体验

百度爬虫这个词语，一般出现的都是python相关的资料。py也有很多爬虫框架，比如scrapy，Portia，Crawley等。之前我个人更喜欢用C#做爬虫。随着对nodejs的熟悉。发现做这种事情还是用脚本语言适合多了，至少不用写那么多的实体类。而且脚本一般使用比较简单。在github上搜索node+spider，排名第一的就是node-crawler github:https://github.com/bda-research/node-crawler简单使用npm安装：npminstallcrawlernew一个cra... 继续阅读 >
2020
10-08

详解Python的爬虫框架 Scrapy

网络爬虫，是在网上进行数据抓取的程序，使用它能够抓取特定网页的HTML数据。虽然我们利用一些库开发一个爬虫程序，但是使用框架可以大大提高效率，缩短开发时间。Scrapy是一个使用Python编写的，轻量级的，简单轻巧，并且使用起来非常的方便。一、概述下图显示了Scrapy的大体架构，其中包含了它的主要组件及系统的数据处理流程（绿色箭头所示）。下面就来一个个解释每个组件的作用及数据的处理过程（注：图片来自互联网）。二、组... 继续阅读 >
2020
10-08

公认8个效率最高的爬虫框架

一些较为高效的Python爬虫框架。分享给大家。1.ScrapyScrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。项目地址：https://scrapy.org/2.PySpiderpyspider是一个用python实现的功能强大的网络爬虫系统，能在浏览器界面上进行脚本的编写，功能的调度和爬取结果的实时查看，后端使用常用... 继续阅读 >