大數據應用技術實驗報告三 MapReduce分佈式編程

MapReduce 分佈式計算系統 Mapper負責「分」 分解計算任務，規模大大縮小； 「計算向數據靠近」 ； 這些小任務可以並行計算。 Reducer負責「彙總」 map階段的結果 Combiner函數 本地化的reducer Partitioner函數 決定着Map節點的輸出將被分區到哪個Reduce節點 什麼是shuffle 怎樣把map task的輸出結果有效地傳送到reduce端？ m

>>阅读原文<<