Flink+Kafka如何實現端到端的exactly-once語義

我們知道,端到端的狀態一致性的實現,需要每一個組件都實現,對於Flink + Kafka的數據管道系統(Kafka進、Kafka出)而言,各組件怎樣保證exactly-once語義呢? 內部 —— 利用checkpoint機制,把狀態存盤,發生故障的時候可以恢復,保證內部的狀態一致性 source —— kafka consumer作爲source,可以將偏移量保存下來,如果後續任務出現了故障,恢
相關文章
相關標籤/搜索