分类：爬取失败

2022
01-12

Python爬虫爬取商品失败处理方法

1.登陆网站，开启开发者模式。可以在浏览器中点击右键检查或者F12打开开发者模式。2.点选NetWork，DOC，然后刷新页面。在network中选择doc，在请求的headers中搜索cookie。3.获取对应的cookie以及user-agent。4.在代码中添加到headers里面。defgetHTMLText(url):kv={'cookie':'adsgadfafegadsgadsfaefasdfaewfadsfag''uaer-agent':'Mozilla/5.0(Macintosh;IntelMacOSX10_14_4)AppleWebKit/537.3... 继续阅读 >