分类：python爬虫梨视频

2021
02-21

python爬虫线程池案例详解(梨视频短视频爬取)

python爬虫-梨视频短视频爬取(线程池)示例代码importrequestsfromlxmlimportetreeimportrandomfrommultiprocessing.dummyimportPool#多进程要传的方法，多进程pool.map()传的第二个参数是一个迭代器对象#而传的get_video方法也要有一个迭代器参数defget_video(dic):headers={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/88.0.4324.96Safari/537.... 继续阅读 >

2021
02-21

python爬虫scrapy框架的梨视频案例解析

之前我们使用lxml对梨视频网站中的视频进行了下载，感兴趣的朋友点击查看吧。下面我用scrapy框架对梨视频网站中的视频标题和视频页中对视频的描述进行爬取分析：我们要爬取的内容并不在同一个页面，视频描述内容需要我们点开视频，跳转到新的url中才能获取，我们就不能在一个方法中去解析我们需要的不同内容1.爬虫文件这里我们可以仿照爬虫文件中的parse方法，写一个新的parse方法，可以将新的url的响应对象传给这个新的parse方... 继续阅读 >