使用scrapyd 部署爬蟲

首先運行scrapyd開啓服務器 可以用瀏覽器訪問一下是否成功開啓 開啓scrapyd之後打開項目的scrapy.cfg配置文件 修改部署名，服務器地址和項目名 運行部署命令 成功後在頁面上會顯示項目名稱 然後開啓爬蟲 正常開啓的話會得到以下提示 開啓成功後在網頁端的jobs裏可以查看正在工作的爬蟲信息 點擊log可以查看日誌 如果想要中途停止的話可以使用這個命令 curl http://IP:6

>>阅读原文<<