Flink WaterMark機制白話分析

最近碰見一個流處理的數據嚴重遲到亂序的場景，基於Saprk Streaming開發的統計用戶頁面停留時間。使用的思想是：遲到數據的時間補償機制。因爲Spark不支持亂序的支持，因此自行實現了一個容器保存必定量的歷史數據，最後對遲到的數據插到歷史容器中，對插入數據的位置進行局部計算求補償時間最後添加到累計停留時間中，大概這個思想。有時間會分享出來。這個場景要我想起了Flink對亂序支持的機制，由於又

>>阅读原文<<