spark學習 - 數據傾斜

文章目錄 Example spark數據傾斜現象 數據傾斜原因 發現數據傾斜 數據傾斜 Solution 1 – 使用reduceByKey 數據傾斜 Solution 2 – 兩階段聚合 數據傾斜 Solution 3 – 擴增數據 數據傾斜 Solution 4 – MapSideJoin Example spark數據傾斜現象 單個Executor執行時間久 OOM Executor Dri

>>阅读原文<<