分类：代理池IP

2021
02-21

python爬虫利用代理池更换IP的方法步骤

0.前言周日在爬一个国外网站的时候，发现用协程并发请求，并且请求次数太快的时候，会出现对方把我的服务器IP封掉的情况。于是网上找了一下开源的python代理池，这里选择的是star数比较多的proxy_pool1.安装环境#安装python虚拟环境，python环境最好为python3.6，再往上的话，安装依赖时会报错sudoaptupdatesudoaptinstallpython3.6pip3installvirtualenvvirtualenvvenv--python=python3.6sourcevenv/bin/activate#... 继续阅读 >