spark連接mysql數據庫

若是不進行foreachPartition，該操做的併發度爲1，你全部的數據都會在一個partition中進行操做，意味着不管你給的資源有多少，只有一個task會執行任務，執行效率可想而之，而且在稍微大點的表中進行操做分分鐘就會OOM。html 因此須要foreachPartition，這樣的話就會有多個task，每一個task一個線程的去處理該任務。java   package com.tv.s

>>阅读原文<<