通過核心ＡＰＩ啓動單個或多個scrapy爬蟲

可以使用API從腳本運行Scrapy，而不是運行Scrapy的典型方法scrapy crawl；Scrapy是基於Twisted異步網絡庫構建的，因此需要在Twisted容器內運行它，可以通過兩個API來運行單個或多個爬蟲scrapy.crawler.CrawlerProcess、scrapy.crawler.CrawlerRunner。 啓動爬蟲的的第一個實用程序是scrapy.crawler.

>>阅读原文<<