[爬蟲架構] 如何設計一個分佈式爬蟲架構

前言：     在大型爬蟲項目中，使用分佈式架構是提高爬取效率的唯一途徑。設計一個合理的分佈式架構對項目、對個人都有很大的好處，接下來說說分佈式架構應該具有的特性： 分佈式。這是最基本也是最核心的特性，分佈式將允許我們通過橫向擴展主機資源來提高爬取效率。 易擴展、易部署。當我們想要增加要爬取的網站時，只需要專注於爬取規則、解析規則、入庫規則部分的代碼編寫就ok，其他的如日誌、異常處理則讓底層架構實

>>阅读原文<<