MapReduce Shuffle過程分析

Hadoop的核心就是HDFS和MapReduce，而MapReduce的核心又是Shuffle,Shuffle的主要工作是從Map結束到Reduce開始之間的過程。如圖： 可以看到，shuffle階段又可以分爲Map端輸出時的shuffle和Reduce端輸入的shuffle。 一、Map端輸出的shuffle 整個流程我分了四步。簡單些可以這樣說，每個map task都有一個內存緩衝區，存儲着

>>阅读原文<<