Shuffle過程詳解及優化

1.MapReduce Shuffle Map是映射，負責數據的過濾分 發；Reduce是規約，負責數據的計算歸併。Reduce的數據來源於Map，Map的輸出即是Reduce的輸入，Reduce需要通過 Shuffle來獲取數據。   從Map輸出到Reduce輸入的整個過程可以廣義地稱爲Shuffle。Shuffle橫跨Map端和Reduce端，在Map端包括Spill過程，在Reduce端包

>>阅读原文<<