分类：settings配置

2020
10-10

记录一下scrapy中settings的一些配置小结

本文主要介绍了scrapysettings配置，分享给大家，具体如下：#字符编码FEED_EXPORT_ENCODING='utf-8'#redis写法一#REDIS_URL='redis://localhost:6379'#redis写法二REDIS_HOST='192.168.10.223'REDIS_PORT=6379#默认的scrapyredis会读取下面的密码和dbREDIS_PARAMS={'password':'123456','db':redis_db}#对于失败的HTTP请求(如超时)进行重试会降低爬取效率，当爬取目标基数很大时，舍弃部分数据不影响大局... 继续阅读 >