一文搞清楚 Spark shuffle 調優

Spark shuffle 調優 Spark 基於內存進行計算，擅長迭代計算，流式處理，但也會發生shuffle 過程。shuffle 的優化，以及避免產生 shuffle 會給程序提高更好的性能。因爲 shuffle 的性能優劣直接決定了整個計算引擎的性能和吞吐量。 下圖是官方的說明，1.2 版本之後默認是使用 sort shuffle 。這樣會更加高效得利用內存。之前版本默認是 hash sh

>>阅读原文<<