hive 優化

set hive.exec.reducers.bytes.per.reducer=2000000000; ##每一個reduce任務處理的數據量，默認爲1000^3=1G
set hive.groupby.skewindata = true ##對於join和Group操做均可能會出現數據傾斜
set hive.optimize.skewjoin=true;--若是是join 過程出現傾斜 應該設置爲true

set mapreduce.map.memory.mb=1025;

set mapreduce.reduce.memory.mb=1025;