Spark性能優化指南學習（三）——spark數據傾斜調優

結合官網以及兩篇高質量博客學習Spark性能調優，摘要幾點加深理解 原文： Spark性能優化指南——基礎篇 Spark性能優化指南——高級篇 官方文檔 數據傾斜發生時的現象 絕大多數task執行得都非常快，但個別task執行極慢。比如，總共有1000個task，997個task都在1分鐘之內執行完了，但是剩餘兩三個task卻要一兩個小時。這種情況很常見。 原本能夠正常執行的Spark作業，某天突

>>阅读原文<<