flink中消費kafka數據防止亂序

    Kafka 分區時間戳 當以 Kafka 來作爲數據源的時候,通常每個 Kafka 分區的數據時間戳是遞增的(事件是有序的),但是當你作業設置多個並行度的時候,Flink 去消費 Kafka 數據流是並行的,那麼並行的去消費 Kafka 分區的數據就會導致打亂原每個分區的數據時間戳的順序。在這種情況下,你可以使用 Flink 中的 Kafka-partition-aware 特性來生成水印
相關文章
相關標籤/搜索