分类：selenium爬取

2021
05-15

Selenium爬取b站主播头像并以昵称命名保存到本地

申明：资料来源于网络及书本，通过理解、实践、整理成学习笔记。Pythion的Selenium自动化测试之获取哔哩哔哩主播的头像以昵称命名保存到本地文件效果图方法1通过接口获取首先使用pip下载requests包pipinstallrequestsimportrequests#通过接口获取请求的接口：想要获取网页的urlurl='https://api.live.bilibili.com/xlive/web-interface/v1/second/getList?platform=web&parent_area_id=1&area_id=0&sort_type=sort_type_... 继续阅读 >

2021
03-22

详解使用Selenium爬取豆瓣电影前100的爱情片相关信息

什么是SeleniumSelenium是一个用于测试网站的自动化测试工具，支持各种浏览器包括Chrome、Firefox、Safari等主流界面浏览器，同时也支持phantomJS无界面浏览器。1.准备工作由于Selenium的环境配置过程比较繁琐，我会尽可能详细的对其进行讲解。1.1安装Selenium由于Selenium的环境配置过程比较繁琐，我会多花一些篇幅对其进行讲解。可以在cmd命令框输入以下内容安装Selenium库。pipinstallSelenium1.2浏览器驱动安装Selenium的... 继续阅读 >

2020
11-19

如何在scrapy中集成selenium爬取网页的方法

1.背景我们在爬取网页时一般会使用到三个爬虫库：requests，scrapy，selenium。requests一般用于小型爬虫，scrapy用于构建大的爬虫项目，而selenium主要用来应付负责的页面（复杂js渲染的页面，请求非常难构造，或者构造方式经常变化）。在我们面对大型爬虫项目时，肯定会优选scrapy框架来开发，但是在解析复杂JS渲染的页面时，又很麻烦。尽管使用selenium浏览器渲染来抓取这样的页面很方便，这种方式下，我们不需要关心页面... 继续阅读 >

2020
10-10

scrapy与selenium结合爬取数据(爬取动态网站)的示例代码

scrapy框架只能爬取静态网站。如需爬取动态网站，需要结合着selenium进行js的渲染，才能获取到动态加载的数据。如何通过selenium请求url，而不再通过下载器Downloader去请求这个url?方法：在request对象通过中间件的时候，在中间件内部开始使用selenium去请求url，并且会得到url对应的源码，然后再将  源代码通过response对象返回，直接交给process_response()进行处理，再交给引擎。过程中相当于后续中间件的proc... 继续阅读 >

2020
10-10

scrapy利用selenium爬取豆瓣阅读的全步骤

首先创建scrapy项目命令：scrapystartprojectdouban_read创建spider命令：scrapygenspiderdouban_spiderurl网址：https://read.douban.com/charts关键注释代码中有，若有不足，请多指教scrapy项目目录结构如下douban_spider.py文件代码爬虫文件importscrapyimportre,jsonfrom..itemsimportDoubanReadItemclassDoubanSpiderSpider(scrapy.Spider):name='douban_spider'#allowed_domains=['www']start_urls=['... 继续阅读 >