基於Hadoop 的分佈式網絡爬蟲技術學習筆記

http://blog.csdn.net/zolalad/article/details/16344661 基於Hadoop 的分佈式網絡爬蟲技術學習筆記   一、網絡爬蟲原理 Web網絡爬蟲系統的功能是下載網頁數據，爲搜索引擎系統提供數據來源。很多大型的網絡搜索引擎系統都被稱爲基於 Web數據採集的搜索引擎系統，比如 Google、Baidu。由此可見 Web 網絡爬蟲系統在搜索引擎中的重要性。

>>阅读原文<<