Hadoop的起源及發展歷程

Hadoop之父 Doug Cutting Hadoop最早起源於lucene下的Nutch。Nutch的設計目標是構建一個大型的全網搜索引擎，包括網頁抓取、索引、查詢等功能，但隨着抓取網頁數量的增加，遇到了嚴重的可擴展性問題——如何解決數十億網頁的存儲和索引問題。 2003年、2004年穀歌發表的三篇論文爲該問題提供了可行的解決方案。 ——分佈式文件系統（GFS），可用於處理海量網頁的存儲 ——

>>阅读原文<<