Spark技術內幕：Shuffle的性能調優

2019獨角獸企業重金招聘Python工程師標準>>> 通過上面的架構和源碼實現的分析，不難得出Shuffle是Spark Core比較複雜的模塊的結論。它也是非常影響性能的操作之一。因此，在這裏整理了會影響Shuffle性能的各項配置。儘管大部分的配置項在前文已經解釋過它的含義，由於這些參數的確是非常重要，這裏算是做一個詳細的總結。 1.1.1  spark.shuffle.manager 前文

>>阅读原文<<