使用Docker Swarm搭建分佈式爬蟲集羣

在爬蟲開發過程中，你肯定遇到過需要把爬蟲部署在多個服務器上面的情況。此時你是怎麼操作的呢？逐一SSH登錄每個服務器，使用git拉下代碼，然後運行？代碼修改了，於是又要一個服務器一個服務器登錄上去依次更新？ 有時候爬蟲只需要在一個服務器上面運行，有時候需要在200個服務器上面運行。你是怎麼快速切換的呢？一個服務器一個服務器登錄上去開關？或者聰明一點，在Redis裏面設置一個可以修改的標記，只有標記對

>>阅读原文<<