如何保障流式處理的數據一致性

背景 相對於傳統的Hadoop這樣的batch分析平臺，流式分析的優點就是實時性， 即可以在秒級別延遲上得到分析結果 。  當然缺點是, 很難保證強一致性，即Exactly-Once語義 （在海量數據的前提下，爲了保障吞吐量，無法使用類似事務的強一致性的方案）。  一般流式分析平臺都會promise較弱的一致性，即Least-Once語義，保證數據不丟但允許數據重複。 但這只是在正常的情況下，當流

>>阅读原文<<