map/reduce之間的shuffle，partition，combiner過程的詳解

Shuffle的本意是洗牌、混亂的意思，相似於java中的Collections.shuffle(List)方法，它會隨機地打亂參數list裏的元素順序。MapReduce中的Shuffle過程。所謂Shuffle過程能夠大體的理解成：怎樣把map task的輸出結果有效地傳送到reduce輸入端。也能夠這樣理解， Shuffle描述着數據從map task輸出到reduce task輸入的這段過

>>阅读原文<<