Flink-歷史(批/離線)數據冷啓動總結

在做用戶畫像標籤時,很多實時指標都需要追溯歷史數據,如用戶截止此刻的訂單數,需要將用戶有史以來的所有訂單數進行統計,而實時數據一般只能回溯7天。這種情況下就需要先將離線數據預先加載到sink端,或者將數據保存到Flink State中去。 如果離線數據的計算結果在mysql中,那麼可以使用類似維表的方式直接進行Stream操作 加載離線寫入State,實時作業以此restore 理論上是可以的,但
相關文章
相關標籤/搜索