kafka-flink-kafka端到端狀態一致性的保證

內部 —— 利用 checkpoint 機制,把狀態存盤,發生故障的時候可以恢復,保證內部的狀態一致性 source —— kafka consumer 作爲 source,可以將偏移量保存下來,如果後續任務出現了故障,恢復的時候可以由連接器重置偏移量,重新消費數據,保證一致性 flink在消費kafka的數據時,在恢復狀態時並不會使用kafka自己維護的offset,假設:使用kafka自己維護
相關文章
相關標籤/搜索