hive數據傾斜優化

在談及數據傾斜的問題時，首先會想什麼事數據傾斜？簡而言之就是由於數據分佈不均勻，造成數據大量的集中到一點，造成數據熱點。主要表現：任務進度長時間維持在 99%或者 100%的附近，查看任務監控頁面，發現只有少量 reduce子任務未完成，因爲其處理的數據量和其他的 reduce 差異過大。單一 reduce 處理的記錄數和平均記錄數相差太大，通常達到好幾倍之多，最長時間遠大於平均時長。 容易數據傾

>>阅读原文<<