Shuffle過程詳解及優化

1.MapReduce Shuffle Map是映射，負責數據的過濾分 發；Reduce是規約，負責數據的計算歸併。Reduce的數據來源於Map，Map的輸出便是Reduce的輸入，Reduce須要經過 Shuffle來獲取數據。數組   從Map輸出到Reduce輸入的整個過程能夠廣義地稱爲Shuffle。Shuffle橫跨Map端和Reduce端，在Map端包括Spill過程，在Reduce

>>阅读原文<<