Spark性能優化——和shuffle搏鬥

Spark的性能分析和調優很有意思，今天再寫一篇。主要話題是shuffle，當然也牽涉一些其他代碼上的小把戲。 以前寫過一篇文章，比較了幾種不同場景的性能優化，包括portal的性能優化，web service的性能優化，還有Spark job的性能優化。Spark的性能優化有一些特殊的地方，比如實時性一般不在考慮範圍之內，通常我們用Spark來處理的數據，都是要求異步得到結果的數據；再比如數據量

>>阅读原文<<