Spark的Shuffle機制

文章目錄 1. 相關概念 2. HashShuffle 2.1 未優化的HashShuffle 2.2 優化後的HashShuffle 3. SortShuffle 3.1 普通的SortShuffle 3.2 BypassSortShuffle 1. 相關概念 在Spark程序中,Stage按照階段的不同劃分爲ShuffleMapStage&ResultStage; 按照Stage的不同,裏面的
相關文章
相關標籤/搜索