spark調優之數據傾斜以及解決

（1）數據傾斜的介紹 1）數據傾斜的緣由： Shuffle數據以後致使數據分佈不均勻，可是全部節點的機器的性能都是同樣的，程序也是同樣的，就是數據量不一致，因此決定了task的執行時長就被數據量決定了。javascript 2）定位數據傾斜的代碼： 數據傾斜發生在shuffle過程，有shuffle過程的算子有：distinct、groupByKey、reduceByKey、aggregateBy

>>阅读原文<<