python主從分佈式爬蟲

爲什麼要用分佈式爬蟲 學習爬蟲已經有一段時間了，之前的爬蟲都是一個python文件就實現的，沒考慮性能，效率之類的。所以作爲一個合格的spider，需要學習一下分佈式爬蟲。 什麼分佈式爬蟲？簡單地說就是用多臺服務器去獲取數據，讓這些服務器去協同，分配各自的任務。 分佈式爬蟲設計 最常用的一種就是主從分佈式爬蟲，本文將使用Redis服務器來作爲任務隊列。 如圖： 準備工作 安裝python3和Red

>>阅读原文<<