Spark Shuffle 的過程

shuffle 的核心要點 shuffleMapStage 與 ResultStage 在劃分 stage 時，最後一個stage 成爲 finalStage,它本質上是 resultstage 對象，前面的所有的 stage 被稱爲 shuffleMapStage。 shuffleMapStage 的結束伴隨着 shuffle 文件的寫磁盤。 ResultStage 基本上對應着代碼中的 act

>>阅读原文<<