Spark編程案例:針對每一個分區進行數據庫操做

需求:將有多個分區的 RDD 中的數據保存到數據庫java ps:針對分區進行數據庫操做的話,建議使用 foreachPartition 算子,每一個分區建立一個 Connection,避免一個 Connection 被多個分區使用而形成的序列化的麻煩。mysql def saveToMySql(it:Iterator[(String, String)]) = { var conn:Conne
相關文章
相關標籤/搜索