爬蟲技術之分佈式爬蟲架構

分佈式爬蟲架構並非一開始就出現的。而是一個逐步演化的過程。服務器 最開始入手寫爬蟲的時候，咱們通常在我的計算機上完成爬蟲的入門和開發，而在真實的生產環境，就不能用我的計算機來運行爬蟲程序了，而是將爬蟲程序部署在服務器上。利用服務器不關機的特性，爬蟲能夠不間斷的24小時運行。單機爬蟲的結構以下圖。架構 然而，因爲爬蟲在爬取數據時，爬取頻次並不能太快，即便是爬蟲在服務器上不間斷運行，效率可能也沒法知足

>>阅读原文<<