分类：IP代理池

2021
02-21

python利用proxybroker构建爬虫免费IP代理池的实现

前言写爬虫的小伙伴可能遇到过这种情况：正当悠闲地喝着咖啡，满意地看着屏幕上的那一行行如流水般被爬下来的数据时，突然一个Error弹出，提示抓不到数据了...然后你反复检查，确信自己代码莫得问题之后，发现居然连浏览器也无法正常访问网页了...难道是网站被我爬瘫痪了？然后你用手机浏览所爬网站，惊奇地发现居然能访问!才原来我的IP被网站给封了，拒绝了我的访问这时只能用IP代理来应对禁IP反爬策略了，但是网上高速稳定的代理... 继续阅读 >

2020
10-10

详解基于Scrapy的IP代理池搭建

一、为什么要搭建爬虫代理池在众多的网站防爬措施中，有一种是根据ip的访问频率进行限制，即在某一时间段内，当某个ip的访问次数达到一定的阀值时，该ip就会被拉黑、在一段时间内禁止访问。应对的方法有两种：1.降低爬虫的爬取频率，避免IP被限制访问，缺点显而易见：会大大降低爬取的效率。2.搭建一个IP代理池，使用不同的IP轮流进行爬取。二、搭建思路1、从代理网站(如：西刺代理、快代理、云代理、无忧代理)爬取代理IP；2、验... 继续阅读 >