記一次spark streaming+kafka 運行時間不穩定調優歷程

spark streaming+kafka運行batch process time不穩定問題梳理 問題現象 排障調優歷程 解決方案 問題現象 題主在去年8月份首次使用spark streaming進行流式計算的時候遇到的一個問題，即spark streaming讀取kafka消息進行流式計算, 可是在數據量比較大的狀況下總會出現一些batch的process time比較長，可是大多數batch能

>>阅读原文<<