分类：httpx

2021
06-22

python爬虫请求库httpx和parsel解析库的使用测评

Python网络爬虫领域两个最新的比较火的工具莫过于httpx和parsel了。httpx号称下一代的新一代的网络请求库，不仅支持requests库的所有操作，还能发送异步请求，为编写异步爬虫提供了便利。parsel最初集成在著名Python爬虫框架Scrapy中，后独立出来成立一个单独的模块，支持XPath选择器,CSS选择器和正则表达式等多种解析提取方式,据说相比于BeautifulSoup，parsel的解析效率更高。今天我们就以爬取链家网上的二手房在售房产信息为... 继续阅读 >

2020
10-08

Python基于httpx模块实现发送请求

一、httpx模块是什么？一个用于http请求的模块，类似于requests、aiohttp；既能发送同步请求（是指在单进程单线程的代码中，发起一次请求后，在收到返回结果之前，不能发起下一次请求），又能发送异步请求（是指在单进程单线程的代码中，发起一次请求后，在等待网站返回结果的时间里，可以继续发送更多请求）。二、httpx模块基础使用2.1httpx模块安装pipinstallhttpx2.2httpx模块基础使用importhttpxres=httpx.get('http://... 继续阅读 >