scrpayd安裝與scrapy爬蟲的部署

以前我用scrapy寫爬蟲的時候都是通過crawl來執行的，但這樣的運行方式只能執行一個爬蟲，如果想同時運行多個爬蟲可以考慮使用scrapyd的方式，也就是scrapy server。查看http://scrapyd.readthedocs.io/en/stable/index.html 瞭解更多關於scrapyd的知識。 在 ubuntu 上安裝scrapyd 我是把scrapyd放到了虛擬機上

>>阅读原文<<