Spark的兩種核心Shuffle(HashShuffle與SortShuffle)的工作流程與源碼分析(手把手看源碼)

寫在前面的話:本篇博客爲原創,認真閱讀需要比對spark 2.1.1的源碼,預計閱讀耗時30分鐘,如果大家發現有問題或者是不懂的,歡迎討論 歡迎關注公衆號:後來X spark 2.1.1的源碼包(有需要自取):關注公衆號【後來X】,回覆spark源碼 在spark中說到shuffle,大家應該不陌生,因爲有shuffle所以才把stage分爲 ShuffleMapStage:前面的所有stage
相關文章
相關標籤/搜索