Scrapy學習-25-Scrapyd部署spider

Scrapyd部署爬蟲項目

github項目

 https://github.com/scrapy/scrapyd 

 

官方文檔

 http://scrapyd.readthedocs.org/ 

 

安裝scrapyd

 http://scrapyd.readthedocs.io/en/stable/install.html 

 

運行

# 在虛擬環境中使用scrapd命令

# scrapyd是一個服務器監聽在本地的6800端口

scrapyd

 

安裝scrapd客戶端

pip install scrapyd-client

# 用於項目打包

# python路徑的Script目錄下發現生成了一個scrapyd-deploy的文件

 

打包項目到scrapyd中

編輯scrapy.cfg

# 打開scrapyd服務

    [deploy:name]
    url = http://localhost:6800/
    project = ArticleSpider

進入爬蟲項目目錄

  cd E:\Python Project\scrapyproject\ArticleSpider 

運行scrapyd-deploy文件

# 因爲沒有後綴不能運行

# 解決辦法：新建一個文件scrapd-deploy.bat，寫入下面數據

@echo off

"E:\Python Project\venvdir\scrapyenv3\Scripts\python.exe" "E:\Python Project\venvdir\scrapyenv3\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9 

# 再次執行發現可使用了

scrapyd-deploy -l 

# 默認本身讀取scrapy.cfg內容

# 若是出現importError問題注意

# import sys
# BASE_DIR = os.path.dirname(os.path.abspath(os.path.dirname(__file__)))
# sys.path.insert(0, os.path.join(BASE_DIR, 'ArticleSpider'))

# 打包spider項目

scrapyd-deploy name -p ArticleSpider

# E:\Python Project\venvdir\scrapyenv3\Scripts\eggs\ArticleSpider\xxxx.egg

# scrapyd-deploy將項目打包成一個後綴爲egg的文件，發送到scrapyd服務器

 

部署項目

接口認識

  http://scrapyd.readthedocs.io/en/stable/api.html 

部署命令

curl http://localhost:6800/schedule.json -d project=ArticleSpider -d spider=myspider

# 返回 {"status": "ok", "jobid": "6487ec79947edab326d6db28a2d86511e8247444"}

# 刷新scrapy管理頁面能夠發現新的項目

 

項目管理

參考官方文檔