【十六】SparkSQL經常使用性能優化

1、代碼優化 1.在數據統計的時候選擇高性能算子。java 例如Dataframe使用foreachPartitions將數據寫入數據庫，不要每一個record都去拿一次數據庫鏈接。一般寫法是每一個partition拿一次數據庫鏈接。sql /** * 將統計結果寫入MySQL中 * 代碼優化： * 在進行數據庫操做的時候，不要每一個record都去

>>阅读原文<<