scrapy項目多個spider同時運行的問題

最近須要爬取大概10個網站的數據，若是建立10個項目的話，pipelines文件和items文件還有middleware，settings文件都是能夠共用的。不必每一個項目都寫一遍。 因此用scrapy只建立一個項目，建立多個spider，啓動爬蟲時只寫一個啓動腳本就能夠所有同時啓動。 可是問題出現了，編寫完多個spider文件以後，啓動時報錯。查完網上各類解答方案，找到解決辦法。最後會發上參考的

>>阅读原文<<