Python爬蟲從入門到放棄(二十一)之 Scrapy分佈式部署

按照上一篇文章中我們將代碼放到遠程主機是通過拷貝或者git的方式,但是如果考慮到我們又多臺遠程主機的情況,這種方式就比較麻煩,那有沒有好用的方法呢?這裏其實可以通過scrapyd,下面是這個scrapyd的github地址:https://github.com/scrapy/scrapyd 當在遠程主機上安裝了scrapyd並啓動之後,就會再遠程主機上啓動一個web服務,默認是6800端口,這樣我
相關文章
相關標籤/搜索