Spark Streaming + Kafka 的 offset 管理方法

常見offset管理方法介紹 1 checkpoints Spark Streaming的checkpoints是最基本的存儲狀態信息的方式，一般是保存在HDFS中。但是最大的問題是如果streaming程序升級的話，checkpoints的數據無法使用，所以幾乎沒人使用。 2 Zookeeper Spark Streaming任務在啓動時會去Zookeeper中讀取每個分區的offsets。如果

>>阅读原文<<