[爬蟲架構] 如何設計一個分佈式爬蟲架構

前言：     在大型爬蟲項目中，使用分佈式架構是提升爬取效率的惟一途徑。設計一個合理的分佈式架構對項目、對我的都有很大的好處，接下來講說分佈式架構應該具備的特性：html 分佈式。這是最基本也是最核心的特性，分佈式將容許咱們經過橫向擴展主機資源來提升爬取效率。 易擴展、易部署。當咱們想要增長要爬取的網站時，只須要專一於爬取規則、解析規則、入庫規則部分的代碼編寫就ok，其餘的如日誌、異常處理則讓底

>>阅读原文<<