Scrapyd ScrapydWeb 簡單高效地部署和監控分佈式爬蟲項目

@安裝和配置 #先確保所有主機都已經安裝和啓動Scrapyd,需要將Scrapyd配置文件中的bind_address修改爲bind_address=0.0.0.0,然後重啓Scrapyd service @安裝scrapydweb #pip install scrapyweb @啓動scrapydweb #/usr/local/python3/bin/scrapydweb @配置scrapydw

>>阅读原文<<