Spark:GroupByKey算子解刨

groupByKey是Transformation並且產生shuffle 上源碼 可以看到調的是一個分區器裏面傳的是父RDD,參數裏面傳入一個參數和一個迭代器   傳入三個函數,一個分區和一個是否聚合value布爾值 第一個函數裝到CompactBuffer,這個不ArrayBuffer更高效,他將迭代器中的第一個value取出來裝進CompactBuffer 第二函數是將CompactBuffe

>>阅读原文<<