kafka添加 partion導致 spark 實時任務數據減少

場景： kafka原有兩個分區，添加一個分區後，一直運行的實時的spark任務  數據減少約3分之一   分析： spark 將kafka 的offsite維護在checkpoint 裏面，當spark任務運行的時候，給kafka添加新的分區，原來的checkpoint只維護原來的兩個分區的 offsite,新的分區的offsite 無法維護（checkpoint 只在第一次創建的時候，創建新of

>>阅读原文<<