大數據hive面試題

1)Hive數據傾斜問題： 傾斜緣由： map輸出數據按Key Hash分配到reduce中,因爲key分佈不均勻、或者業務數據自己的特色。】【等緣由形成的reduce上的數據量差別過大。 1.1)key分佈不均勻 1.2)業務數據自己的特性 1.3)SQL語句形成數據傾斜 解決方案： 1>參數調節：     hive.map.aggr=true     hive.groupby.skewinda

>>阅读原文<<