Hadoop之Shuffle機制詳解

1.什麼是Shuffle機制 1.1）在Hadoop中數據從Map階段傳遞給Reduce階段的過程就叫Shuffle，Shuffle機制是整個MapReduce框架中最核心的部分。 1.2）Shuffle翻譯成中文的意思爲：洗牌、發牌（核心機制：數據分區、排序、緩存) 2.Shuffle的作用範圍 一般把數據從Map階段輸出到Reduce階段的過程叫Shuffle，所以Shuffle的作用範圍是M

>>阅读原文<<