spark 算子調優之使用foreachPartition優化寫數據庫的性能

使用默認的foreache的性能缺陷是哪裏？mysql 首先，對於每條數據，都要單獨去調用一次function,task爲每一個數據，都要去執行一次function函數。sql   若是100萬條數據（一個partition）,調用100萬次，性能比較差數據庫   另一個很是很是重要的一點函數   若是每一個數據，你都要去建立一個數據庫鏈接，那麼你就得創建100萬次數據庫鏈接，可是要注意的是，數據

>>阅读原文<<