Spark Shuffle之SortShuffleWriter

概述 這篇文章是Spark Shuffle之Sort Shuffle的一部分,介紹SortShuffleWriter的實現,也就是Sort Shuffle。 SortShuffleWriter SortShuffleWriter的邏輯在write方法,查看代碼 可以看出SortShuffleWriter使用ExternalSorter處理map端輸出,因此,接下來的分析圍繞ExternalSort
相關文章
相關標籤/搜索