SpiderKeeper使用文檔

pip install scrapy
pip install scrapyd
pip install scrapyd-client
pip install spiderkeeper
複製代碼

scrapy.cfg文件配置
[settings]
default = crawler.settings

[deploy:worker]
url = http://0.0.0.0:6800/
project = crawler
複製代碼

1.在crawler項目的第一級目錄下執行
scrapyd

2.在spiderkeeper的manager目錄(需新建)下執行
spiderkeeper

3.在crawler項目的第一級目錄下執行
scrapyd-deploy --build-egg output.egg

4.瀏覽器打開
http://127.0.0.1:5000

5.建立項目，名字隨意起，如：work

6.瀏覽器打開
http://127.0.0.1:5000/project/1/spider/deploy

7.選擇output.egg文件並提交

8.添加任務，設置定時，而後跑起來
複製代碼