mapreduce的核心--shuffle理解，以及在shuffle中的優化

關於shuffle的過程圖。 　　   一：概述shuffle 　　Shuffle是mapreduce的核心，鏈接map與reduce的中間過程。 　　Mapp負責過濾分發，而reduce則是歸併整理，從mapp輸出到reduce的輸入的這個過程稱爲shuffle過程。   二：map端的shuffle　 1.map結果的輸出 　　map的處理結果首先存放在一個環形的緩衝區。 　　這個緩衝區的內存

>>阅读原文<<