15. 爬蟲之分佈式爬蟲的部署:scrapyd

1. 簡介 scrapyd是運行scrapy爬蟲的服務程序,它支持以http命令方式發佈、刪除、啓動、停止爬蟲程序。而且scrapyd可以同時管理多個爬蟲,每個爬蟲還可以有多個版本。 2. 特點 1、可以避免爬蟲源碼被看到。 2、有版本控制。 3、可以遠程啓動、停止、刪除 使用版本: scrapyd:1.2.0 scrapy:1.5.0 3. 安裝 (1)pip pip install scrap
相關文章
相關標籤/搜索