Flink MiniBatch的作用

在Blink的流式任務中,State相關的操作通常都會成爲整個任務的性能瓶頸。實時計算部-查詢和優化團隊開發了MiniBatch功能,大幅降低了State操作的開銷。 假設數據流在短時間內累計有N條數據(分佈在M個key上) 開啓minibatch的前後對比:操作state由2N次轉變爲2M次 MiniBatch的一個典型場景-無限流上的GroupBy 在Blink-SQL中,通常會使用無限流的G
相關文章
相關標籤/搜索