分类：爬虫性能

2020
10-08

Python 爬虫性能相关总结

这里我们通过请求网页例子来一步步理解爬虫性能当我们有一个列表存放了一些url需要我们获取相关数据，我们首先想到的是循环简单的循环串行这一种方法相对来说是最慢的，因为一个一个循环，耗时是最长的，是所有的时间总和代码如下：importrequestsurl_list=['http://www.baidu.com','http://www.pythonsite.com','http://www.cnblogs.com/']forurlinurl_list:result=requests.get(url)print(result.text)通过线... 继续阅读 >