向scrapy中的spider傳參，實現增量

有時候需要根據項目的實際需求向spider傳遞參數來控制spider的運行方式。 比如說，1.根據用戶提交的url來控制spider爬取的網站。2.根據需求增量爬取數據。 今天就寫一個增量（augmenter）的方式： Spider參數通過 crawl 命令的 -a 選項來傳遞，比如： scrapy crawl xxx -a augmenter=xxxxxx 注：augmenter=不爲空 1.首

>>阅读原文<<