Gerapy 分佈式爬蟲管理框架使用心得

要在遠程服務器上佈署自己的分佈式爬蟲，個人比較推薦gerapy爬蟲管理框架。 這裏就詳細介紹一下gerapy的用法。 1.首先要下載grapy,同樣如果使用虛擬環境做開發，以下操作全部在虛擬環境下進行，先進入命令行工具，進入虛擬環境，執行pip install gerapy 2.安裝之後進行初始化，執行gerapy init 執行完畢之後，本地便會生成一個名字爲 gerapy 的文件夾，接着進入該

>>阅读原文<<