Flink -- window數據傾斜 解決思路

這裏闡述一下Flink中 window間的數據傾斜的解決思路,不做代碼展現 場景:       分項目統計某個時間粒度的pv數據 數據情況: 每個項目的數據量不同,某個項目的數據量很大,導致這個項目的窗口中的數據很大,發生傾斜   解決思路: 思路一:       針對window原始方式中在窗口觸發前,是以數據積攢的方式進行的。所以針對這種方式可以在window後跟一個reduce方法,在窗口觸
相關文章
相關標籤/搜索