hive數據傾斜優化

一、什麼是數據傾斜？html 因爲數據分佈不均勻，形成數據大量的集中到一點，形成數據熱點函數 二、主要表現：任務進度長時間維持在 99%或者 100%的附近，查看任務監控頁面，發現只有少許 reduce子任務未完成，由於其處理的數據量和其餘的 reduce 差別過大。單一 reduce 處理的記錄數和平均記錄數相差太大，一般達到好幾倍之多，最長時間遠大於平均時長。oop 三、容易數據傾斜狀況 性能

>>阅读原文<<