59、Spark性能優化之shuffle性能優化

沒有開啓consolidation機制的性能低下的原理剖析.png 總結，沒有開啓consolidation機制的時候，ShuffleWtiter的性能，是比較低的，而且會影響到Shuffle read的性能，而且性能也會比較低 因爲Shuffle Map端創建的磁盤文件太多了，導致shuffle writer要耗費大量的性能在磁盤文件的創建，以及磁盤io上，對於shuffle read，也是一樣

>>阅读原文<<