Spark之數據傾斜（二）

數據傾斜解決方案：         （四）提高shuffle操作的reduce並行度         一個簡單的方法，可以一定程度的緩解數據傾斜，但是，它治標不治本。將reduce task的數量變多，可以讓每個reduce task分配到更少的數據量，這樣的話，也許就可以緩解或者甚至是基本解決掉數據傾斜的問題。這種方案實施也簡單，調用shuffle算子，比如groupByKey、countByK

>>阅读原文<<