mr shuffle和spark shuffle的區別

前言  對比mr和spark，Shuffle 過程有着諸多類似，例如，Shuffle 過程中，提供數據的一端被稱作 Map 端，Map 端每個生成數據的任務稱爲 Mapper，對應的，接收數據的一端被稱作 Reduce 端，Reduce 端每個拉取數據的任務稱爲 Reducer。Shuffle 過程本質上都是將 Map 端獲得的數據使用分區器進行劃分，並將數據發送給對應的 Reducer 的過程。

>>阅读原文<<