mapreduce的shuffle機制

解釋 mapreduce中，map階段處理的數據如何傳遞給reduce階段，是mapreduce框架中最關鍵的一個流程；具體來說，就是將maptask輸出的處理結果數據，分發給reducetask，並在分發的過程中，對數據按key進行了分區和排序； 核心機制：數據分區，排序，緩存； shuffle是MR處理流程中的一個過程，它的每一個處理步驟是分散在各個map task和reduce task節點

>>阅读原文<<