MapReduce執行流程之shuffle機制

介紹 shuffle機制是MapReduce執行過程中非常重要的一個流程。它處於Map階段和Reduce階段之間，它的具體處理步驟分佈MapTask階段和ReduceTask階段。按照shuffle的機制，他可以將map階段處理完成的數據重新排列組合（內部其實是在分區、排序、預聚合），最後將數據交給reduceTask處理。Shuffle中的緩衝區大小會影響到MapReduce程序的執行效率，原則

>>阅读原文<<