Spark SQL中的聚合(Aggregate)實現

Spark SQL中的聚合(Aggregate)實現 Sort Based Aggregate 首先來講說實現比較簡單(但實際執行起來卻不簡單)的Sort Based Aggregate。顧名思義,這是一種基於排序的聚合實現,在進行聚合以前,會根據grouping key進行分區以及分區內排序,將具備相同grouping key的記錄都分佈在同一個partition內且先後相鄰,聚合時只須要順序遍
相關文章
相關標籤/搜索