58、Spark性能優化之reduceByKey和groupByKey

groupByKey val counts = pairs.groupByKey().map(wordCounts => (wordCounts._1, wordCounts._2.sum)) groupByKey工作原理.png groupByKey的性能，相對來說，是有問題的 因爲，它是不會進行本地聚合的，而是原封不動的，把ShuffleMapTask的輸出，拉取到ResultTask的內存中

>>阅读原文<<