分类：spiders多爬虫

2021
05-20

python scrapy项目下spiders内多个爬虫同时运行的实现

一般创建了scrapy文件夹后，可能需要写多个爬虫，如果想让它们同时运行而不是顺次运行的话，得怎么做？a、在spiders目录的同级目录下创建一个commands目录，并在该目录中创建一个crawlall.py，将scrapy源代码里的commands文件夹里的crawl.py源码复制过来，只修改run()方法即可！importosfromscrapy.commandsimportScrapyCommandfromscrapy.utils.confimportarglist_to_dictfromscrapy.utils.pythonimportwithout_none_va... 继续阅读 >