分类：redis配置setting

2020
11-19

scrapy redis配置文件setting参数详解

scrapy项目setting.py#Resis设置#使能Redis调度器SCHEDULER='scrapy_redis.scheduler.Scheduler'#所有spider通过redis使用同一个去重过滤器DUPEFILTER_CLASS='scrapy_redis.dupefilter.RFPDupeFilter'#不清除Redis队列、这样可以暂停/恢复爬取#SCHEDULER_PERSIST=True#SCHEDULER_QUEUE_CLASS='scrapy_redis.queue.PriorityQueue'#默认队列，优先级队列#备用队列。#SCHEDULER_QUEUE_CLASS='scrapy_redis.queue.FifoQueu... 继续阅读 >