分类：提升爬虫效率

2020
10-10

python如何提升爬虫效率

单线程+多任务异步协程协程在函数(特殊函数)定义的时候,使用async修饰,函数调用后,内部语句不会立即执行,而是会返回一个协程对象任务对象任务对象=高级的协程对象(进一步封装)=特殊的函数任务对象必须要注册到时间循环对象中给任务对象绑定回调:爬虫的数据解析中事件循环当做是一个装载任务对象的容器当启动事件循环对象的时候,存储在内的任务对象会异步执行特殊函数内部不能写不支持异步请求的模块,如time,requests...否... 继续阅读 >