分类：批量运行

2020
10-10

Scrapy爬虫文件批量运行的实现

Scrapy批量运行爬虫文件的两种方法：1、使用CrawProcess实现https://doc.scrapy.org/en/latest/topics/practices.html2、修改craw源码+自定义命令的方式实现（1）我们打开scrapy.commands.crawl.py 文件可以看到：defrun(self,args,opts):iflen(args)<1:raiseUsageError()eliflen(args)>1:raiseUsageError("running'scrapycrawl'withmorethanonespiderisnolongersupported")s... 继续阅读 >