分佈式爬蟲管理框架Gerapy安裝及部署流程

Gerapy 是一款國人開發的爬蟲管理軟件（有中文界面）

　　是一個管理爬蟲項目的可視化工具，把項目部署到管理的操做所有變爲交互式，實現批量部署，更方便控制、管理、實時查看結果。

gerapy和scrapyd的關係就是，咱們能夠經過gerapy中配置scrapyd後，不使用命令，直接經過圖形化界面開啓爬蟲。

》》安裝

pip install gerapy

 

》》配置環境變量

C:\Users\wangjialu\AppData\Local\Programs\Python\Python37\Scripts\

》》cmd 初始化工做目錄

>gerapy init    

》》進入該目錄初始數據庫，會生成一個SQLite數據庫，數據庫保存主機的配置信息和部署版本。

>cd gerapy
>gerapy migrate 

》》啓動服務  http://127.0.0.1:8000  訪問界面

>gerapy runserver  

 

》》部署項目

咱們將Scrapy項目放在gerapy/project目錄下。

添加Scrapy遠程服務，咱們的scrapy項目發佈到Scrapyd上面。

或者

打開你的爬蟲項目根目錄 配置scrapy.cfg  

[deploy:abckg]
url = http://localhost:6800/
project = Abckg

 

#url 把#去掉

輸入命令：scrapyd-deploy <target> -p <projectname>（target:spider.cfg中[deploy:NAME]）（projectname：spider.cfg中project = XXX）

這樣就部署成功了！！！

 

如要轉載 麻煩備註原文出處！！