spark shuffle詳解

在MapReduce框架中，shuffle是連接Map和Reduce之間的橋樑，Map的輸出要用到Reduce中必須經過shuffle這個環節，shuffle的性能高低直接影響了整個程序的性能和吞吐量。Spark作爲MapReduce框架的一種實現，自然也實現了shuffle的邏輯。 Shuffle Shuffle是MapReduce框架中的一個特定的phase，介於Map phase和Reduc

>>阅读原文<<