spark SQL 參數調優

1 spark.sql.codegen 默認值爲false，當它設置爲true時，Spark SQL會把每條查詢的語句在運行時編譯爲java的二進制代碼。這有什麼作用呢？它可以提高大型查詢的性能，但是如果進行小規模的查詢的時候反而會變慢，就是說直接用查詢反而比將它編譯成爲java的二進制代碼快。所以在優化這個選項的時候要視情況而定。 2 spark.sql.inMemoryColumnStorag

>>阅读原文<<