spark SQL 參數調優

1 spark.sql.codegen 默認值爲false，當它設置爲true時，Spark SQL會把每條查詢的語句在運行時編譯爲java的二進制代碼。這有什麼做用呢？它能夠提升大型查詢的性能，可是若是進行小規模的查詢的時候反而會變慢，就是說直接用查詢反而比將它編譯成爲java的二進制代碼快。因此在優化這個選項的時候要視狀況而定。 2 spark.sql.inMemoryColumnStorag

>>阅读原文<<