Flink Task重啓之後重複消費Kafka消息問題解決

我的項目是從Kafka消費消息，計算之後發送到elasticsearch存儲。 現象：每次重啓Flink Task，都會往elasticsearch發送已經計算過的數據。比如本來elasticsearch有3條記錄，在不往Kafka生產新消息的情況下，重新啓動Flink Task之後有6條，再重啓是9條，說明數據重複。 初步懷疑是因爲重複消費Kafka的消息，可能是offset沒有提交。於是在Fl

>>阅读原文<<