Hive----Hive應用2.數據傾斜

數據傾斜  1、什麼是數據傾斜？ 由於數據分佈不均勻，造成數據大量的集中到一點，造成數據熱點  2、Hadoop 框架的特性 A、不怕數據大，怕數據傾斜 B、Jobs 數比較多的作業運行效率相對比較低，如子查詢比較多 C、 sum,count,max,min 等聚集函數，通常不會有數據傾斜問題  3、主要表現： 任務進度長時間維持在 99%或者 100%的附近，查看任務監控頁面，發現只有少量 re

>>阅读原文<<