大規模併發採集——分佈式爬蟲

當爬取內容過多，須要多機合做的時候，就須要用到分佈式系統，這節課給你們講解一下分佈式爬蟲的實現。python 分佈式系統 什麼是分佈式系統？ 分佈式系統就是把一些計算機經過網絡鏈接起來，而後協同工做git 協同工做須要解決兩個問題：github 任務分解  把一個問題拆解成若干個獨立任務，每一個任務在一臺節點上運行，實現多任務的併發執行redis 節點通訊  節點之間互相通訊，須要設計特定的通訊協

>>阅读原文<<