分类：爬取代理

2021
02-01

python多线程爬取西刺代理的示例代码

西刺代理是一个国内IP代理，由于代理倒闭了，所以我就把原来的代码放出来供大家学习吧。镜像地址：https://www.blib.cn/url/xcdl.html首先找到所有的tr标签，与class="odd"的标签，然后提取出来。然后再依次找到tr标签里面的所有td标签，然后只提取出里面的[1,2,5,9]这四个标签的位置，其他的不提取。最后可以写出提取单一页面的代码，提取后将其保存到文件中。importsys,re,threadingimportrequests,lxmlfromqueueimportQueu... 继续阅读 >

2020
12-22

python爬取代理ip的示例

要写爬虫爬取大量的数据，就会面临ip被封的问题，虽然可以通过设置延时的方法来延缓对网站的访问，但是一旦访问次数过多仍然会面临ip被封的风险，这时我们就需要用到动态的ip地址来隐藏真实的ip信息，如果做爬虫项目，建议选取一些平台提供的动态ip服务，引用api即可。目前国内有很多提供动态ip的平台，普遍价格不菲，而对于只想跑个小项目用来学习的话可以参考下本篇文章。简述本篇使用简单的爬虫程序来爬取免费ip网站的ip信息并... 继续阅读 >