大數據處理框架的類型、比較和選擇

提及大數據處理，一切都起源於Google公司的經典論文：《MapReduce:Simplied Data Processing on Large Clusters》。在當時(2000年左右)，因爲網頁數量急劇增長，Google公司內部平時要編寫不少的程序來處理大量的原始數據：爬蟲爬到的網頁、網頁請求日誌;計算各類類型的派生數據：倒排索引、網頁的各類圖結構等等。這些計算在概念上很容易理解，但因爲輸入

>>阅读原文<<