分类：爬虫库

2021
06-22

python爬虫请求库httpx和parsel解析库的使用测评

Python网络爬虫领域两个最新的比较火的工具莫过于httpx和parsel了。httpx号称下一代的新一代的网络请求库，不仅支持requests库的所有操作，还能发送异步请求，为编写异步爬虫提供了便利。parsel最初集成在著名Python爬虫框架Scrapy中，后独立出来成立一个单独的模块，支持XPath选择器,CSS选择器和正则表达式等多种解析提取方式,据说相比于BeautifulSoup，parsel的解析效率更高。今天我们就以爬取链家网上的二手房在售房产信息为... 继续阅读 >

2021
03-12

小众实用的Python 爬虫库RoboBrowser

1.前言大家好，我是安果！今天推荐一款小众轻量级的爬虫库：RoboBrowserRoboBrowser，Yourfriendlyneighborhoodwebscraper！由纯Python编写，运行无需独立的浏览器，它不仅可以做爬虫，还可以实现Web端的自动化项目地址：​https://github.com/jmcarp/robobrowser2.安装及用法在实战之前，我们先安装依赖库及解析器PS：官方推荐的解析器是「lxml」#安装依赖pip3installrobobrowser#lxml解析器（官方推荐）pip3... 继续阅读 >