MapReduce 原理之Shuffle機制

1.Shuffle機制     Mapreduce 確保每個 reducer 的輸入都是按鍵排序的。系統執行排序的過程（即將 map 輸出作爲輸入傳給 reducer ）稱爲 shuffle 。 2.Partition分區 (1) 問題引出：要求將統計結果按照條件輸出到不同文件中（分區）。比如：將統計結果按照手機歸屬地不同省份輸出到不同文件中（分區） (2) 默認partition分區 publi

>>阅读原文<<