分类：feapder

2021
05-26

上手简单,功能强大的Python爬虫框架——feapder

简介feapder是一款上手简单，功能强大的Python爬虫框架，使用方式类似scrapy，方便由scrapy框架切换过来，框架内置3种爬虫：AirSpider爬虫比较轻量，学习成本低。面对一些数据量较少，无需断点续爬，无需分布式采集的需求，可采用此爬虫。Spider是一款基于redis的分布式爬虫，适用于海量数据采集，支持断点续爬、爬虫报警、数据自动入库等功能BatchSpider是一款分布式批次爬虫，对于需要周期性采集的数据，优先考虑使... 继续阅读 >

2021
05-15

python爬虫框架feapder的使用简介

1.前言大家好，我是安果！众所周知，Python最流行的爬虫框架是Scrapy，它主要用于爬取网站结构性数据今天推荐一款更加简单、轻量级，且功能强大的爬虫框架：feapder项目地址：https://github.com/Boris-code/feapder2.介绍及安装和Scrapy类似，feapder支持轻量级爬虫、分布式爬虫、批次爬虫、爬虫报警机制等功能内置的3种爬虫如下：AirSpider轻量级爬虫，适合简单场景、数据量少的爬虫Spider分布式爬虫，基于Red... 继续阅读 >