spark sql 性能優化

一 設置shuffle的並行度sql 咱們能夠經過屬性spark.sql.shuffle.partitions設置shuffle並行度緩存   二 Hive數據倉庫建設的時候，合理設置數據類型，好比你設置成INT的就不要設置成BIGINT，減小數據類型沒必要要的內存開銷網絡   三 SQL優化優化   四 並行的處理查詢結果spa 對於Spark SQL查詢的結果,若是數據量比較大，好比超過100

>>阅读原文<<