Spark SQL之性能優化

對於某些工做負載，能夠經過在內存中緩存數據或打開一些實驗性選項來提升性能。web 在內存中緩存數據 Spark SQL能夠經過調用Spark .catalog. cachetable(「tableName」)或dataFrame.cache()來使用內存中的柱狀格式緩存表。而後Spark SQL將只掃描所需的列，並自動調優壓縮，以最小化內存使用和GC壓力。能夠調用spark.catalog. un

>>阅读原文<<