Hadoop學習筆記 --- 解析MapReduce運行原理

MapReduce是一種編程模型，用於大規模數據集的並行計算。MapReduce採用分而治之的思想，把對大規模數據集的操作，分發給一個主節點管理下的各個分節點完成，然後通過整合各個節點的中間結果，得到最終結果。簡單的說MapReduce就是任務的分解與結果的彙總。   分層解析：   1.Split階段，Map的輸入數據源是多種多樣的，我們使用hdfs作爲數據源，數據在hdfs上以block（塊，

>>阅读原文<<