sparkSQL性能調優

對於某些工作負載，可以在通過在內存中緩存數據或者打開一些實驗選項來提高性能。 在內存中緩存數據    Spark SQL可以通過調用sqlContext.cacheTable("tableName")方法來緩存使用柱狀格式的表。然後，Spark將會僅僅瀏覽需要的列並且自動地壓縮數據以減少內存的使用以及垃圾回收的壓力。你可以通過調用sqlContext.uncacheTable("tableName

>>阅读原文<<