筆記十六：「點點點」就能作到的一款分佈式爬蟲管理框架——Gerapy

       前言：在上兩篇博客中，咱們解決了大量信息的爬取問題分佈式爬蟲，用scrapy_redis把項目分別部署放到多個遠程服務器上，提升了爬取數據的速度。又作到了使用scrapyd，在遠程服務器上安裝scrapyd,啓動scrapyd服務，把scrapy項目經過scrapyd打包上傳到遠程服務主機上，而後咱們就能夠經過請求scrapyd提供的各類API去控制爬蟲項目的運行、中止或刪除等操做！

>>阅读原文<<