Python爬蟲從入門到放棄（二十一）之 Scrapy分佈式部署

按照上一篇文章中我們將代碼放到遠程主機是通過拷貝或者git的方式，但是如果考慮到我們又多臺遠程主機的情況，這種方式就比較麻煩，那有沒有好用的方法呢？這裏其實可以通過scrapyd,下面是這個scrapyd的github地址：https://github.com/scrapy/scrapyd 當在遠程主機上安裝了scrapyd並啓動之後，就會再遠程主機上啓動一個web服務，默認是6800端口，這樣我

>>阅读原文<<