基於JMS的分佈式爬蟲系統的設計與實現

摘要 隨着互聯網技術的飛速發展，網絡信息以指數型趨勢高速增長。對於一個要對數據進行統計分析的系統而言，蒐集數據的過程是冗長枯燥的。基於這一現實，分佈式爬蟲系統獲得了發展的契機。系統通過多臺服務器的協調運行，成倍地提高了爬蟲的效率。當然，分佈式系統在獲得效率提升的同時也大大增加了系統的複雜程度，開發人員需要考慮多方面因素以確保系統的正常運轉。 本文對分佈式爬蟲系統的架構做了深入的討論，給出了選擇該架

>>阅读原文<<