Spark調優方案-數據傾斜調優

目錄 數據傾斜現象 發生數據傾斜現象的原因 定位發生數據傾斜的代碼 解決方法 數據傾斜現象 絕大多數task執行得都非常快，但個別task執行極慢。比如，總共有1000個task，997個task都在1分鐘之內執行完了，但是剩餘兩三個task卻要一兩個小時。這種情況很常見。 原本能夠正常執行的Spark作業，突然報出OOM（內存溢出）異常，觀察異常棧，是我們寫的業務代碼造成的。這種情況比較少見。

>>阅读原文<<