scrapyd+SpiderKeeper+supervisord爬蟲部署與管理

本文介紹在CentOS7下部署爬蟲，穩定運行爬蟲，對爬蟲提供Web管理。部署工具是Scrapy官方的scrapyd，Web管理程序是開源項目SpiderKeeper，最後用supervisord提供穩定運行。 scrapyd和scrapyd-client scrapyd安裝配置 Scrapyd是一個用來部署和運行Scrapy項目的應用，由Scrapy的開發者開發。其可以通過一個簡單的Json AP

>>阅读原文<<