spark連接JDBC 報 Task not serializable問題

有個簡單需求用spark解析一個配置文件存入數據庫,在操作中,爲了高效使用了spark的foreachPartition算子,結果呢,一直告訴我: 看最下邊日誌原因告訴我是jdbc無法序列化導致的,於是打算重寫jdbc類實現序列話,結果,,,無法實現序列號接口,百般無奈下,看到下邊日誌提示,明顯是util.hashMap無法序列化導致的,那麼也就是說因爲連接jdbc時傳入的propertis無法序
相關文章
相關標籤/搜索