scrapyd分佈式爬蟲部署

需要安裝scrapyd=1.2.0  scrapy-client=1.2.0a1 啓動scrapyd服務 配置爬蟲項目 開始向scrapyd中部署項目 通過scrapyd-deploy命令測試scrapyd-deploy是否可用。 查看當前可用於部署到scrapyd服務中的爬蟲有哪些。 參數1： [deploy: jobbole] 參數2： scrapy.cfg文中中的url 命令scrapy l

>>阅读原文<<