2020
10-10
10-10
详解基于Scrapy的IP代理池搭建
一、为什么要搭建爬虫代理池在众多的网站防爬措施中,有一种是根据ip的访问频率进行限制,即在某一时间段内,当某个ip的访问次数达到一定的阀值时,该ip就会被拉黑、在一段时间内禁止访问。应对的方法有两种:1.降低爬虫的爬取频率,避免IP被限制访问,缺点显而易见:会大大降低爬取的效率。2.搭建一个IP代理池,使用不同的IP轮流进行爬取。二、搭建思路1、从代理网站(如:西刺代理、快代理、云代理、无忧代理)爬取代理IP;2、验...
继续阅读 >