spark streaming 流式計算---跨batch鏈接池共享（JVM共享鏈接池）

在流式計算過程當中，不免會鏈接第三方存儲平臺（redis,mysql...)。在操做過程當中，大部分狀況是在foreachPartition/mapPartition算子中作鏈接操做。每個分區只須要鏈接一次第三方存儲平臺就能夠了。假如，當前streaming有100分區，當前流式計算宮分配了20個cpu，有4個cpu負責接收數據。那麼，在一個批次中一共須要對第三方平臺建立100次鏈接，同時最大並行

>>阅读原文<<