分类：多线程爬虫

2021
02-21

python 多线程爬取壁纸网站的示例

基本开发环境·Python3.6·Pycharm需要导入的库目标网页分析网站是静态网站，没有加密，可以直接爬取整体思路：1、先在列表页面获取每张壁纸的详情页地址2、在壁纸详情页面获取壁纸真实高清url地址3、保存地址代码实现模拟浏览器请请求网页，获取网页数据 这里只选择爬取前10页的数据代码如下importthreadingimportparselimportrequestsdefget_html(html_url):'''获取网页源代码:paramhtml_url:网页url:return:... 继续阅读 >

2021
02-01

python多线程爬取西刺代理的示例代码

西刺代理是一个国内IP代理，由于代理倒闭了，所以我就把原来的代码放出来供大家学习吧。镜像地址：https://www.blib.cn/url/xcdl.html首先找到所有的tr标签，与class="odd"的标签，然后提取出来。然后再依次找到tr标签里面的所有td标签，然后只提取出里面的[1,2,5,9]这四个标签的位置，其他的不提取。最后可以写出提取单一页面的代码，提取后将其保存到文件中。importsys,re,threadingimportrequests,lxmlfromqueueimportQueu... 继续阅读 >

2020
09-29

Python如何使用队列方式实现多线程爬虫

说明：糗事百科段子的爬取，采用了队列和多线程的方式，其中关键点是Queue.task_done()、Queue.join()，保证了线程的有序进行。代码如下importrequestsfromlxmlimportetreeimportjsonfromqueueimportQueueimportthreadingclassQsbk(object):def__init__(self):self.headers={"User-Agent":"Mozilla/5.0(X11;Linuxx86_64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/81.0.4044.138Safari/537.36... 继续阅读 >