Python3網絡爬蟲實戰---1四、部署相關庫的安裝：Scrapyrt、Gerapy

上一篇文章： Python3網絡爬蟲實戰---1三、部署相關庫ScrapydClient、ScrapydAPI
下一篇文章： Python3網絡爬蟲實戰---1五、爬蟲基礎：HTTP基本原理

Scrapyrt的安裝

Scrapyrt 爲 Scrapy 提供了一個調度的 HTTP 接口，有了它咱們不須要再執行 Scrapy 命令而是經過請求一個 HTTP 接口便可調度 Scrapy 任務，Scrapyrt 比 Scrapyd 輕量級，若是不須要分佈式多任務的話能夠簡單使用 Scrapyrt 實現遠程 Scrapy 任務的調度。

1. 相關連接

• GitHub：https://github.com/scrapinghu...
• 官方文檔：http://scrapyrt.readthedocs.io

2. Pip安裝

推薦使用 Pip 安裝，命令以下：

pip3 install scrapyrt

命令執行完畢以後便可完成安裝。

接下來在任意一個 Scrapy 項目中運行以下命令便可啓動 HTTP 服務：

scrapyrt

運行以後會默認在 9080 端口上啓動服務，相似的輸出結果以下：

scrapyrt
2017-07-12 22:31:03+0800 [-] Log opened.
2017-07-12 22:31:03+0800 [-] Site starting on 9080
2017-07-12 22:31:03+0800 [-] Starting factory <twisted.web.server.Site object at 0x10294b160>

若是想更換運行端口能夠使用 -p 參數，如：

scrapyrt -p 9081

這樣就會在 9081 端口上運行了。

3. Docker安裝

另外 Scrapyrt 也支持 Docker，如想要在 9080 端口上運行，且本地 Scrapy 項目的路徑爲 /home/quotesbot，能夠使用以下命令運行：

docker run -p 9080:9080 -tid -v /home/user/quotesbot:/scrapyrt/project scrapinghub/scrapyrt

這樣一樣能夠在 9080 端口上監聽指定的 Scrapy 項目。

Gerapy的安裝

Gerapy 是一個 Scrapy 分佈式管理模塊，本節來介紹一下 Gerapy 的安裝方式。

1. 相關連接

GitHub：https://github.com/Gerapy

2. Pip安裝

推薦使用 Pip 安裝，命令以下：

pip3 install gerapy

3. 測試安裝

安裝完成以後，能夠在 Python 命令行下測試。

$ python3
>>> import gerapy

若是沒有錯誤報出，則證實庫已經安裝好了。

上一篇文章： Python3網絡爬蟲實戰---1三、部署相關庫ScrapydClient、ScrapydAPI
下一篇文章： Python3網絡爬蟲實戰---1五、爬蟲基礎：HTTP基本原理