Spark數據傾斜-採樣傾斜key並分拆join操作-詳細圖解與代碼

本文修改自[1]中的方案六。   下面的方案簡述來自[1] 方案適用場景：兩個RDD/Hive表進行join的時候，如果數據量都比較大，無法採用「解決方案五」，那麼此時可以看一下兩個RDD/Hive表中的key分佈情況。如果出現數據傾斜，是因爲其中某一個RDD/Hive表中的少數幾個key的數據量過大，而另一個RDD/Hive表中的所有key都分佈比較均勻，那麼採用這個解決方案是比較合適的。 方案

>>阅读原文<<