Spark Streaming重複消費,多次輸出問題剖析與解決方案

1，Exactly once 事務 什麼事Exactly once 事務？ 數據僅處理一次並且僅輸出一次，這樣纔是完整的事務處理。 Spark在運行出錯時不能保證輸出也是事務級別的。在Task執行一半的時候出錯了，雖然在語義上做了事務處理，數據僅被處理一次，但是如果是輸出到數據庫中，那有空能將結果多次保存到數據庫中。Spark在任務失敗時會進行重試，這樣會導致結果多次保存到數據庫中。 如下圖，當運

>>阅读原文<<