面試題整理(Hive)

1. Hive數據傾斜 緣由 key分佈不均勻 業務數據自己的特性 SQL語句形成數據傾斜 解決方法 hive設置hive.map.aggr=true和hive.groupby.skewindata=true 有數據傾斜的時候進行負載均衡，當選項設定爲true,生成的查詢計劃會有兩個MR Job。第一個MR Job中，Map的輸出結果集合會隨機分佈到Reduce中，每一個Reduce作部分聚合操做

>>阅读原文<<