84.Spark大型電商項目-用戶訪問session分析-數據傾斜解決方案之提高shuffle操作reduce並行度

本篇文章記錄用戶訪問session分析-數據傾斜解決方案之提高shuffle操作reduce並行度。 提高shuffle操作的reduce並行度 第一個和第二個方案，都不適合做。 第三個方案，提高shuffle操作的reduce並行度 將reduce task的數量，變多，就可以讓每個reduce task分配到更少的數據量，這樣的話，也許就可以緩解，或者甚至是基本解決掉數據傾斜的問題。 怎麼操作

>>阅读原文<<