分类：Selenium

2020
11-06

Selenium结合BeautifulSoup4编写简单的python爬虫

在学会了抓包，接口请求(如requests库）和Selenium的一些操作方法后，基本上就可以编写爬虫，爬取绝大多数网站的内容。在爬虫领域，Selenium永远是最后一道防线。从本质上来说，访问网页实际上就是一个接口请求。请求url后，返回的是网页的源代码。我们只需要解析html或者通过正则匹配提取出我们需要的数据即可。有些网站我们可以使用requests.get(url)，得到的响应文本中获取到所有的数据。而有些网页数据是通过JS动态加载到页面... 继续阅读 >

2020
10-30

基于selenium-java封装chrome、firefox、phantomjs实现爬虫

2017年一直以来在公司负责爬虫项目相关工程，主要业务有预定、库存、在开发中也遇到很多问题，随手记录一下，后续会持续更新。chrome、firefox、phantomjs插件安装和版本说明基于selenium-java封装chrome、firefox、phantomjs实现爬虫项目下载地址maven版本说明<!--+++|selenium|+++--><dependency><groupId>org.seleniumhq.selenium</groupId><artifactId>selenium-java</artifactId><version>3.5.1</... 继续阅读 >

2020
10-30

详解Selenium-webdriver绕开反爬虫机制的4种方法

之前爬美团外卖后台的时候出现的问题，各种方式拖动验证码都无法成功，包括直接控制拉动，模拟人工轨迹的随机拖动都失败了，最后发现只要用chromedriver打开页面，哪怕手动登录也不可以，猜测driver肯定是直接被识别出来了。一开始尝试了改useragent等方式，仍然不行，由于其他项目就搁置了。今天爬淘宝生意参谋又出现这个问题，经百度才知道原来chromedriver的变量有一个特征码，网站可以直接根据特征码判断，经百度发现有4种... 继续阅读 >

2020
10-30

详解selenium + chromedriver 被反爬的解决方法

问题背景：这个问题是在爬取某夕夕商城遇到的问题，原本的方案是用selenium+chromedriver+mitmproxy开心的刷，但是几天之后，发现刷不出来了，会直接跳转到登陆界面（很明显，是遭遇反爬了）讲实话，这还是第一次用硒被反爬的，于是进行大规模的测试对比。同台机器，用铬浏览器正常访问是不用跳转到登陆界面的，所以不是IP的问题。再用提琴手抓包对比了一下两个请求头，请求头都是一样的，所以忽略标头的反爬。最后通过分析，... 继续阅读 >

2020
10-18

python Selenium 库的使用技巧

Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE，MozillaFirefox，Safari，GoogleChrome，Opera等。这个工具的主要功能包括：测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和自动生成.Net、Java、Perl等不同语言的测试脚本。-... 继续阅读 >

2020
10-10

scrapy结合selenium解析动态页面的实现

 1.问题虽然scrapy能够完美且快速的抓取静态页面，但是在现实中，目前绝大多数网站的页面都是动态页面，动态页面中的部分内容是浏览器运行页面中的JavaScript脚本动态生成的，爬取相对困难；比如你信心满满的写好了一个爬虫，写好了目标内容的选择器，一跑起来发现根本找不到这个元素，当时肯定一万个黑人问号于是你在浏览器里打开F12，一顿操作，发现原来这你妹的是ajax加载的，不然就是硬编码在js代码里的，blabla的…然后... 继续阅读 >

2020
10-10

C# 利用Selenium实现浏览器自动化操作的示例代码

概述Selenium是一款免费的分布式的自动化测试工具，支持多种开发语言，无论是C、java、ruby、python、或是C#，你都可以通过selenium完成自动化测试。本文以一个简单的小例子，简述C#利用Selenium进行浏览器的模拟操作，仅供学习分享使用，如有不足之处，还请指正。涉及知识点要实现本例的功能，除了要掌握Html，JavaScript，CSS等基础知识，还涉及以下知识点：log4net：主要用于日志的记录和存储，本例采用log4net进行日志记... 继续阅读 >

2020
10-10

Python selenium环境搭建实现过程解析

一：自动化了解知识工具安装什么样的项目适合做自动化？自动化测试一般在什么阶段开始实施？你们公司自动化的脚本谁来维护？如何维护？自动化用例覆盖率是多少？自动化的原理通过webdriver模块中的关键字和浏览器驱动以及页面元素定位进行操作达到模拟人工操作的效果你们公司的自动化流程是如何展开的？对自动化的业务需求进行评审对自动化测试的场景进行选择，测试工具的选择，在... 继续阅读 >

2020
10-10

Python selenium实现断言3种方法解析

1.if...else...判断进行断言fromtimeimport*fromseleniumimportwebdriverdeflogin(user="admin",pwd="123456"):driver=webdriver.Chrome()driver.implicitly_wait(10)driver.get("http://192.168.1.110:8080/cms")driver.maximize_window()sleep(1)driver.find_element_by_id("userAccount").send_keys(user)sleep(1)driver.find_element_by_id("loginPwd").send_keys(pwd)sleep(1)driver.find_ele... 继续阅读 >

2020
10-10

python selenium xpath定位操作

xpath是一种在xm文档中定位的语言，详细简介，请自行参照百度百科，本文主要总结一下xpath的使用方法，个人看法，如有不足和错误，敬请指出。注意：xpath的定位同一级别的多个标签索引从1开始而不是01.绝对定位：此方法最为简单，具体格式为xxx.find_element_by_xpath("绝对路径")具体例子：xxx.find_element_by_xpath("/html/body/div[x]/form/input")x代表第x个div标签，注意，索引从1开始而不是0此方法缺点显而易见，当... 继续阅读 >

2020
10-10

Java Selenium实现多窗口切换的示例代码

在web应用中，常常会遇见点击某个链接会弹出一个新的窗口，或者是相互关联的web应用，这样要去操作新窗口中的元素，就需要主机切换到新窗口进行操作。WebDriver提供了switchTo().window()方法可以实现在不同的窗口之间切换。获取当前窗口浏览器句柄：driver.getWindowHandle();获取所有窗口的浏览器句柄到当前会话：driver.getWindowHandles();用于不同窗口的切换：switchTo().window();在页面操作过程中有时候点击某个链... 继续阅读 >

2020
10-10

python 解决selenium 中的 .clear()方法失效问题

最近在使用selenium做一个数字货币的自动化脚本时，遇到一个问题就是okex网站的input使用clear()方法居然无法清空，但是后来试了好多次发现方法是可以使用的，而且这个网站修改input的value也没用，必须在文本框里修改才行，本次的目的就是要清除输入框的默认值，然而clear()没有反应，最后还是用了别的方法解决了问题，那就是使用鼠标双击事件，全选后输入内容。fromselenium.webdriver.common.action_chainsimportActionChain... 继续阅读 >

2020
10-10

Python Selenium自动化获取页面信息的方法

1.获取页面titletitle：获取当前页面的标题显示的字段fromseleniumimportwebdriverimporttimebrowser=webdriver.Chrome()browser.get('https://www.baidu.com')#打印网页标题print(browser.title)#输出内容：百度一下，你就知道2.获取页面URLcurrent_url：获取当前页面的URLfromseleniumimportwebdriverimporttimebrowser=webdriver.Chrome()browser.get('https://www.baidu.com')#打印网页标题print(browser.curr... 继续阅读 >

2020
10-10

selenium切换标签页解决get超时问题的完整代码

从gif直观地感受一下效果我有大量url需要访问，但是有些url会超时为了避免超时，设置driver.set_page_load_timeout(3)限时3秒，一旦超时就会产生TimeoutException而且超时后标签页就卡柱了，只能通过driver.close()关闭如果你只有一个标签页，关闭就直接退出了，还得重启自然想到先保留一个备用的标签，原标签超时需要关闭的时候就切换过来，然后再关闭，并打开新标签，保证任何时候都有两个标签页可用！！defvisit(urls,... 继续阅读 >

2020
10-10

Python3+selenium配置常见报错解决方案

第一个坑：'geckodriver'executableneedstobeinPATH1.如果启动浏览器过程中报如下错误Traceback(mostrecentcalllast):File"<stdin>",line1,in<module>File"D:\test\python3\lib\site-packages\selenium\webdriver\firefox\webdriver.py",line145,in__init__self.service.start()File"D:\test\python3\lib\site-packages\selenium\webdriver\common\service.py",line81,instartos.path.basename(self.path... 继续阅读 >

2020
10-10

selenium 反爬虫之跳过淘宝滑块验证功能的实现代码

在处理问题的之前，给大家个第一个锦囊！你需要将chorme更新到最新版版本84，下载对应的chorme驱动链接：http://chromedriver.storage.googleapis.com/index.html注意划重点！！一定要做这一步，因为我用的83的chorme他是不行滴，~~~~~~~问题1.一周前我的滑块验证代码还是可以OK的，完全没问题！附代码low一眼url="https://login.taobao.com/member/login.jhtml"browser.get(url)browser.maximize_window()#最大化#填写用... 继续阅读 >