分类：spider传值

2020
11-19

如何向scrapy中的spider传递参数的几种方法

有时需要根据项目的实际需求向spider传递参数以控制spider的行为，比如说，根据用户提交的url来控制spider爬取的网站。在这种情况下，可以使用两种方法向spider传递参数。第一种方法，在命令行用crawl控制spider爬取的时候，加上-a选项，例如：scrapycrawlmyspider-acategory=electronics然后在spider里这样写：importscrapyclassMySpider(scrapy.Spider):name='myspider'def__init__(self,category=None,*args,**... 继续阅读 >