Spark Shuffle解析

ShuffleMapStage與ResultStage ShuffleMapStage的結束伴隨着shuffle文件的寫磁盤。 ResultStage基本上對應代碼中的action算子，即將一個函數應用在RDD的各個partition的數據集上，意味着一個job的運行結束。 HashShuffle解析 未優化的HashShuffle 一個Task多個緩存 如下圖中有3個 Reducer，從Task

>>阅读原文<<