Spark性能調優-總結分享

1、Spark調優背景 目前Zeppelin已經上線一段時間，Spark作爲底層SQL執行引擎，需要進行整體性能調優，來提高SQL查詢效率。本文主要給出調優的結論，因爲涉及參數很多，故沒有很細粒度調優，但整體調優方向是可以得出的。 環境：服務器600+，spark 2.0.2，Hadoop 2.6.0 2、調優結果 調優隨機選取線上9條SQL，表橫軸是調優測試項目，測試在集羣空閒情況下進行，後一個

>>阅读原文<<