分类：ChromeDriver

2021
02-21

Python3爬虫ChromeDriver的安装实例

Python爬虫不仅仅可以爬取静态网页，也可以爬取抓取动态网页。但是新版的Selenium不支持PhantomJS，无法进行动态网页的爬取，因此要放弃PhantomJS，直接用headlessChromeDriver。本文介绍安装ChromeDriver的过程。1、为什么要安装ChromeDriver？使用Python的第三方库selenium需要对应的浏览器驱动器ChromeDriver。2、相关链接官方网站：https://sites.google.com/a/chromium.org/ch3、MAC安装brewinstallchromedriver如果安装... 继续阅读 >

2021
01-21

详解Python+Selenium+ChromeDriver的配置和问题解决

安装前的准备1.python的安装和配置在Window下：在开始菜单中找到运行输入cmd或直接搜索cmd点击进入，输入python，如果出现下图中的>>>则证明Python安装成功。检测Chrome的版本号安装Chromedriver记录版本号：87.0.4280.88打开ChromeDirver网址：http://chromedriver.storage.googleapis.com/index.html选择对应版本号的文件夹并打开ChromeDriver的环境配置ChromeDriver下载解压后为放置任一文件夹（建议放置在浏览器同名文件夹下... 继续阅读 >

2020
10-30

详解selenium + chromedriver 被反爬的解决方法

问题背景：这个问题是在爬取某夕夕商城遇到的问题，原本的方案是用selenium+chromedriver+mitmproxy开心的刷，但是几天之后，发现刷不出来了，会直接跳转到登陆界面（很明显，是遭遇反爬了）讲实话，这还是第一次用硒被反爬的，于是进行大规模的测试对比。同台机器，用铬浏览器正常访问是不用跳转到登陆界面的，所以不是IP的问题。再用提琴手抓包对比了一下两个请求头，请求头都是一样的，所以忽略标头的反爬。最后通过分析，... 继续阅读 >

2020
09-27

python+selenium+chromedriver实现爬虫示例代码

下载好所需程序1.Selenium简介Selenium是一个用于Web应用程序测试的工具，直接运行在浏览器中，就像真正的用户在操作一样。2.Selenium安装方法一：在Windows命令行（cmd）输入pipinstallselenium即可自动安装，安装完成后，输入pipshowselenium可查看当前的版本方法二：直接下载selenium包：selenium下载网址Pychome安装selenium如果出现无法安装，参考以下博客解决Pycharm无法使用已经安装Selenium的问题3.禁止谷歌浏览器自动... 继续阅读 >

2020
09-25

selenium+chromedriver在服务器运行的详细教程

1.前言想使用selenium从网站上抓数据，但有时候使用phantomjs会出错。chrome现在也有无界面运行模式了，以后就可以不用phantomjs了。但在服务器安装chrome时出现了一些错误，这里总结一下整个安装过程2.ubuntu上安装chrome#InstallGoogleChrome#https://askubuntu.com/questions/79280/how-to-install-chrome-browser-properly-via-command-linesudoapt-getinstalllibxss1libappindicator1libindicator7wgethttps://dl.g... 继续阅读 >