MapReduce——shuffle

Shuffle過程是MR的一個核心。 簡答瞭解Shuffle的作用: 需求場景： 　　在集羣環境下，Map task和Reduce task運行在不同的節點上，這個情況下Reduce執行時需要跨節點從其他節點上拉取Map task的輸出結果。如果集羣上又很多任務在運行，會在運行時消耗很嚴重的網絡資源（這屬於正常現象），這種現象無法改變，只能最大化的減少資源的消耗。在數據拉取過程中怎麼改變？ 　　1

>>阅读原文<<