如何處理 Flink 中數據傾斜問題?

在大數據計算場景,無論使用 MapReduce、Spark 還是 Flink 計算框架,無論是批處理還是流處理都存在數據傾斜的問題,通過本節學習產生數據傾斜的原因及如何在生產環境解決數據傾斜。 數據傾斜簡介 分析一個計算各 app PV 的案例,如下圖所示,圓球表示 app1 的日誌,方塊表示 app2 的日誌,Source 端從外部系統讀取用戶上報的各 app 行爲日誌,要計算各 app 的 P
相關文章
相關標籤/搜索