spark streaming + kafka0.10以及kafka的offset管理

爲了記錄在spark-streaming裏面消費的數據的位置，咱們須要保存offset來控制數據的讀取位置，offset能夠保存在多個地方，java 一、將offset保存在外部系統（我用的是redis）redis 二、將offset存儲在Hbasebootstrap 三、將offset存儲在Zookeeper測試 四、當歷史數據沒有用的時候 也能夠無論理offsetspa --參考 https:

>>阅读原文<<