Spark2.x學習筆記：12、Shuffle機制

12、Shuffle機制 12.1 背景 在MapReduce計算框架中，shuffle是連接Map和Reduce之間的橋樑。 Map的輸出要用到Reduce中必須經過shuffle這個環節，shuffle的性能高低直接影響了整個程序的性能和吞吐量。 Shuffle的本義是洗牌、混洗，把一組有一定規則的數據儘量轉換成一組無規則的數據，越隨機越好。MapReduce中的Shuffle更像是洗牌的逆過

>>阅读原文<<