Spark消費Kafka如何實現精準一次性消費?

1.定義 精確一次消費(Exactly-once) 是指消息一定會被處理且只會被處理一次。不多不少就一次處理。 如果達不到精確一次消費,可能會達到另外兩種情況: 至少一次消費(at least once),主要是保證數據不會丟失,但有可能存在數據重複問題。 最多一次消費 (at most once),主要是保證數據不會重複,但有可能存在數據丟失問題。 如果同時解決了數據丟失和數據重複的問題,那麼就
相關文章
相關標籤/搜索