MapReduce-Shuffle機制運行解析

概述 在MapReduce（分佈式計算框架，底層依賴HDFS）中，map階段經過處理輸出的數據怎樣傳遞給reduce並保證reduce的輸入都是按鍵排序好的，在MR中是極爲關鍵的一個流程，這個流程叫做Shuffle，也稱之爲「洗牌」。可以說，Shuffle是整個MR的心臟。 Shuffle的結構 Shuffle是MR處理流程中的一個過程，連接了map task和reduce task，它的每一個處

>>阅读原文<<