分类：selenium

2020
12-05

Python爬虫之Selenium设置元素等待的方法

一、显式等待WebDriverWait类是由WebDirver提供的等待方法。在设置时间内，默认每隔一段时间检测一次当前页面元素是否存在，如果超过设置时间检测不到则抛出异常（TimeoutException）fromseleniumimportwebdriverfromselenium.webdriver.common.byimportByfromselenium.webdriver.support.uiimportWebDriverWaitfromselenium.webdriver.supportimportexpected_conditionsasECimporttimedriver=webdriver.Chrome(... 继续阅读 >
2020
12-05

Selenium获取登录Cookies并添加Cookies自动登录的方法

本章中用到的关键方法如下：get_cookies()：获得所有cookie信息。get_cookie(name)：返回字典的key为“name”的cookie信息。add_cookie(cookie_dict)：添加cookie。“cookie_dict”指字典对象，必须有name和value值。delete_cookie(name,optionsString)：删除cookie信息。“name”是要删除的cookie的名称，“optionsString”是该cookie的选项，目前支持的选项包括“路径”，“域”。delete_all_cookies()：删除所... 继续阅读 >
2020
12-05

Python爬虫中Selenium实现文件上传

Python爬虫中Selenium实现文件上传 前言：大部分的文件上传功能都是用input标签实现，这样就完全可以把它看作一个输入框，可以通过send_keys()指定文件进行上传了。本章中用到的关键方法如下：send_keys()：上传文件或者输入文本fromseleniumimportwebdriverimporttimedriver=webdriver.Chrome()driver.get('http://file.yiyuen.com/file/')#定位上传按钮，添加本地文件driver.find_element_by_name("files").send_keys('D:\\test.txt')time.sleep(10)driver.... 继续阅读 >
2020
12-05

Python爬虫之Selenium下拉框处理的实现

在我们浏览网页的时候经常会碰到下拉框，WebDriver提供了Select类来处理下拉框，详情请往下看：本章中用到的关键方法如下：select_by_value()：设置下拉框的值switch_to.alert.accept()：定位并接受现有警告框(详情请参考Python爬虫-Selenium（9）警告框(弹窗)处理)click()：鼠标点击事件(其他鼠标事件请参考Python爬虫-Selenium（5）鼠标事件)move_to_element()：鼠标悬停(详情请参考Python爬虫-Selenium（5）鼠标... 继续阅读 >
2020
12-05

Python爬虫之Selenium警告框(弹窗)处理

JavaScript有三种弹窗Alert(只有确定按钮),Confirmation(确定,取消等按钮),Prompt(有输入对话框)，而且弹出的窗口是不能通过前端工具对其进行定位的，这个时候就可以通过switch_to.alert方法来定位这个弹窗，并进行一系列的操作。本章中用到的关键方法如下：switch_to.alert：定位到警告框text：获取警告框中的文字信息accept()：接受现有警告框(相当于确认)dismiss()：解散现有警告框(相当于取消)send_keys('文... 继续阅读 >
2020
12-05

Python爬虫之Selenium中frame/iframe表单嵌套页面

Python爬虫之Selenium中frame/iframe表单嵌套页面 在Web应用中经常会遇到frame/iframe表单嵌套页面的应用，WebDriver只能在一个页面上对元素识别与定位，对于frame/iframe表单内嵌页面上的元素无法直接定位。这时就需要通过switch_to.frame()方法将当前定位的主体切换为frame/iframe表单的内嵌页面中。本章中用到的关键方法如下：switch_to.frame()：切换为frame/iframe表单的内嵌页面中switch_to.parent_frame()：退出内嵌页面以ip138网站为例fromseleniumimportwebdriverd... 继续阅读 >
2020
12-05

Python爬虫之Selenium多窗口切换的实现

前言：在页面操作过程中有时候点击某个链接会弹出新的窗口，但由于Selenium的所有操作都是在第一个打开的页面进行的，这时就需要主机切换到新打开的窗口上进行操作。WebDriver提供了switch_to.window()方法，可以实现在不同的窗口之间切换。以百度首页和百度注册页为例，在两个窗口之间的切换。本章中用到的关键方法如下：current_window_handle：获得当前窗口句柄window_handles：返回所有窗口的句柄到当前会话switch_to.w... 继续阅读 >
2020
12-05

浅谈Selenium 控制浏览器的常用方法

1.自定义浏览器窗口大小或全屏fromseleniumimportwebdriverimporttimedriver=webdriver.Chrome()driver.get('https://www.baidu.com/')#自定义窗口大小driver.set_window_size(100,200)#参数数字为像素点print('现在是自定义大小展示')time.sleep(5)#睡5秒显示一下效果#全屏展示driver.maximize_window()print('现在是全屏展示')time.sleep(5)#睡5秒显示一下效果driver.quit()#关闭所有标签页2.控制浏览器后退、前进只... 继续阅读 >
2020
12-05

Selenium 安装和简单使用的实现

Selenium 安装和简单使用的实现 一、简介Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE，Firefox，Safari，Chrome，Opera等。在爬虫上用来模拟正常用户访问网页并获取数据。二、安装（以Chrome为例）浏览器安装windows下安装就不多说了，以下为服务器（Centos7）的安装步骤#下载安装包到同级目录下wgethttps://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm#... 继续阅读 >
2020
12-04

python 爬虫之selenium可视化爬虫的实现

python 爬虫之selenium可视化爬虫的实现 之所以把selenium爬虫称之为可视化爬虫主要是相较于前面所提到的几种网页解析的爬虫方式selenium爬虫主要是模拟人的点击操作selenium驱动浏览器并进行操作的过程是可以观察到的就类似于你在看着别人在帮你操纵你的电脑，类似于别人远程使用你的电脑当然了，selenium也有无界面模式快速入门selenium基本介绍:selenium是一套完整的web应用程序测试系统，包含了测试的录制（seleniumIDE）,编写及运行（SeleniumRemoteControl）和... 继续阅读 >
2020
12-02

使用java + selenium + OpenCV破解腾讯防水墙滑动验证码功能

使用java + selenium + OpenCV破解腾讯防水墙滑动验证码功能 *验证码地址：https://007.qq.com/online.html*使用OpenCv模板匹配*成功率90%左右*Java+Selenium+OpenCV产品样例来吧！展示！注意！！！·在模拟滑动时不能按照相同速度或者过快的速度滑动，需要向人滑动时一样先快后慢，这样才不容易被识别。模拟滑动代码↓↓↓/***模拟人工移动*@paramdriver*@paramelement页面滑块*@paramdistance需要移动距离*/publicstaticvoidmove(WebDriverdriver,WebEleme... 继续阅读 >
2020
11-25

基于docker搭建selenium分布式环境

1、下载镜像dockerpullselenium/hubdockerpullselenium/node-firefoxdockerpullselenium/node-chrome注意：selenium/node-firefox和selenium/node-chrome都是无界面的。要想能看到实时运行界面，需要使用以下两个镜像之一。dockerpullselenium/standalone-chrome-debugdockerpullselenium/standalone-firefox-debug2、启动Hub节点的Dockerdockerrun-p4444:4444-d--namehubselenium/hub参数说明：run：运行一个... 继续阅读 >