Spark Streaming中如何實現Exactly-Once

Exactly-once 語義是實時計算的難點之一。要做到每一條記錄只會被處理一次，即使服務器或網絡發生故障時也能保證沒有遺漏，這不僅需要實時計算框架本身的支持，還對上游的消息系統、下游的數據存儲有所要求。此外，我們在編寫計算流程時也需要遵循一定規範，才能真正實現 Exactly-once。本文將講述如何結合 Spark Streaming 框架、Kafka 消息系統、以及 MySQL 數據庫來實

>>阅读原文<<