Spark性能優化 - shuffle問題

轉載地址：http://www.raychase.net/3788 轉載作者：《四火的嘮叨》 Spark的性能分析和調優很有意思，今天再寫一篇。主要話題是shuffle，當然也牽涉一些其他代碼上的小把戲。 以前寫過一篇文章，比較了幾種不同場景的性能優化，包括portal的性能優化，web service的性能優化，還有Spark job的性能優化。Spark的性能優化有一些特殊的地方，比如實時性一

>>阅读原文<<