Spark 性能調優之 foreachPartition 優化寫數據庫性能

foreach 操作寫數據庫 缺點 首先，對於每條數據，都要單獨去調用一次function，task爲每個數據，都要去執行一次function函數。 如果100萬條數據，（一個partition），調用100萬次。性能比較差。 另外一個非常非常重要的一點 如果每個數據，你都去創建一個數據庫連接的話，那麼你就得創建100萬次數據庫連接。 但是要注意的是，數據庫連接的創建和銷燬，都是非常非常消耗性能的

>>阅读原文<<