分类：ip代理

2021
08-06

python爬虫实战之制作属于自己的一个IP代理模块

目录一、使用PyChram的正则二、制作一个随机User-Agent模块三、最终实践3.1爬取快代理上的ip3.2验证爬取到的ip是否可用3.3实战：利用爬取到的ip访问CSDN博客网址1000次四、总结一、使用PyChram的正则首先，小编讲的不是爬取ip，而是讲了解PyCharm的正则，这里讲的正则不是Python的re模块哈！而是PyCharm的正则功能，我们在PyChram的界面上按上Ctrl+R，可以发现，这里出现两行输入框现在如果小编想把如下数据转换成一个字典存储... 继续阅读 >

2020
10-08

Python爬虫设置ip代理过程解析

1、get方式：如何为爬虫添加ip代理，设置Requestheader（请求头）importurllibimporturllib.requestimporturllib.parseimportrandomimporttimefromfake_useragentimportUserAgentua=UserAgent()url="http://www.baidu.com"########################################################'''设置ip代理iplist=['127.0.0.1:80']#可自行上网找一些代理proxy_support=urllib.request.ProxyHandler({'http':random.cho... 继续阅读 >