MapReduce （Shuffle,partition,combiner,Spill )

一、shuffle介紹 1 、shuffle就是洗牌弄亂的意思，shuffle代表map 輸出 到reduce 的整個過程，他解決的問題就是如何將多個map task的輸出，作爲多個reduce task 的輸入，下面就來看看shffler是如何對map的輸出結果排序，處理，分組成reduce的輸入的。 2 、shuffle和partition和combiner的關係是包含關係，shuffle過程

>>阅读原文<<