分类：cookie问题

2020
11-19

关于python scrapy中添加cookie踩坑记录

问题发现：前段时间项目中，为了防止被封号(提供的可用账号太少)，对于能不登录就可以抓取的内容采用不带cookie的策略，只有必要的内容才带上cookie去访问。本来想着很简单：在每个抛出来的Request的meta中带上一个标志位，通过在CookieMiddleware中查看这个标志位，决定是否是给这个Request是否装上Cookie。实现的代码大致如下：classCookieMiddleware(object):"""每次请求都随机从账号池中选择一个账号去访问"""def__... 继续阅读 >