spark算子調優二:foreachPartition優化數據庫操做

在生產環境中,一般使用foreachPartition算子來完成數據庫的寫入,經過foreachPartition算子的特性,能夠優化寫數據庫的性能。數據庫 若是使用foreach算子完成數據庫的操做,因爲foreach算子是遍歷RDD的每條數據,所以,每條數據都會創建一個數據庫鏈接,這是對資源的極大浪費,所以,對於寫數據庫操做,咱們應當使用foreachPartition算子。函數 與mapPa
相關文章
相關標籤/搜索