Spark的Shuffle機制

MapReduce中的Shuffle 轉載於: http://www.jianshu.com/p/60bab35bc01e 在MapReduce框架中，shuffle是連接Map和Reduce之間的橋樑，Map的輸出要用到Reduce中必須經過shuffle這個環節，shuffle的性能高低直接影響了整個程序的性能和吞吐量。 Shuffle是MapReduce框架中的一個特定的phase，介於Ma

>>阅读原文<<