分类：异步协程

2020
10-08

python3爬虫中异步协程的用法

1.前言在执行一些IO密集型任务的时候，程序常常会因为等待IO而阻塞。比如在网络爬虫中，如果我们使用requests库来进行请求的话，如果网站响应速度过慢，程序一直在等待网站响应，最后导致其爬取效率是非常非常低的。为了解决这类问题，本文就来探讨一下Python中异步协程来加速的方法，此种方法对于IO密集型任务非常有效。如将其应用到网络爬虫中，爬取效率甚至可以成百倍地提升。注：本文协程使用async/await来实现，... 继续阅读 >