2020
10-30
10-30
详解selenium + chromedriver 被反爬的解决方法
问题背景：这个问题是在爬取某夕夕商城遇到的问题，原本的方案是用selenium+chromedriver+mitmproxy开心的刷，但是几天之后，发现刷不出来了，会直接跳转到登陆界面（很明显，是遭遇反爬了）讲实话，这还是第一次用硒被反爬的，于是进行大规模的测试对比。同台机器，用铬浏览器正常访问是不用跳转到登陆界面的，所以不是IP的问题。再用提琴手抓包对比了一下两个请求头，请求头都是一样的，所以忽略标头的反爬。最后通过分析，...
继续阅读 >