Flink保證數據不丟失不重複、狀態一致性

  如圖:奇數和偶數分流分別計算 概念 計算結果要保證準確。 一條數據不應該丟失,也不應該重複計算。 遇到故障時可以恢復狀態,恢復以後的重新計算結果應該也是完全正確的。 狀態一致性分類(級別) AT-MOST-ONCE(最多一次) 當任務故障時,最簡單的做法是什麼都不幹,既不恢復丟失的狀態,也不重播丟失的數據。即最多處理一次事件。 AT-LEAST-ONCE(至少一次) (不能保證數據不被重複處理
相關文章
相關標籤/搜索