spark數據傾斜狀況與解決代碼

出現數據傾斜的六種狀況 一、shuffle的時候，若是這個產生shuffle的字段爲空，會出現數據傾斜 二、key有不少，分區數設置的過少，致使不少key彙集在一個分區出現數據傾斜 三、當某一個表中某一個key數據特別多，而後使用group by 就會出現數據傾斜 四、大表 join 小表 ,這兩個表中某一個表有某一個key或者某幾個key數據比較多，會出現數據傾斜 五、大表 join 大表，其中

>>阅读原文<<