Spark部分：數據傾斜的優化【文字說明+圖片】

 解決數據傾斜         1).數據傾斜             HDFS                 HDFS集羣中某些節點數據非常多，某些節點數據非常少             Hive                 某張表中某個key對應非常多的數據，某些key對應少量的數據             Spark                 RDD中某個partition對應數

>>阅读原文<<