map/reduce之間的shuffle，partition，combiner過程的詳解

Shuffle的本意是洗牌、混亂的意思，類似於java中的Collections.shuffle(List)方法，它會隨機地打亂參數list裏的元素順序。MapReduce中的Shuffle過程。所謂Shuffle過程可以大致的理解成：怎樣把map task的輸出結果有效地傳送到reduce輸入端。也可以這樣理解， Shuffle描述着數據從map task輸出到reduce task輸入的這段過

>>阅读原文<<