Shuffle的核心要點

1 ShuffleMapStage與ResultStage 在劃分stage時,最後一個stage稱爲finalStage,它本質上是一個ResultStage對象,前面的所有stage被稱爲ShuffleMapStage。 ShuffleMapStage的結束伴隨着shuffle文件的寫磁盤。 ResultStage基本上對應代碼中的action算子,即將一個函數應用在RDD的各個partiti
相關文章
相關標籤/搜索