構建批流一體數據融合平臺的一致性語義保證

首先，本文將從數據融合角度，談一下DataPipeline對批流一體架構的看法，以及如何設計和使用一個基礎框架。其次，數據的一致性是進行數據融合時最基礎的問題。如果數據無法實現一致，即使同步再快，支持的功能再豐富，都沒有意義。 另外，DataPipeline目前使用的基礎框架爲Kafka Connect。爲實現一致性的語義保證，我們做了一些額外工作，希望對大家有一定的參考意義。 最後，會提一些我們

>>阅读原文<<