面試必備技能-HiveSQL優化

Hive SQL基本上適用大數據領域離線數據處理的大部分場景。Hive SQL的優化也是咱們必須掌握的技能，並且，面試必定會問。那麼，我但願面試者能答出其中的80%優化點，在這個問題上纔算過關。

• Hive優化目標
• 在有限的資源下，執行效率更高
• 常見問題
• 數據傾斜
• map數設置
• reduce數設置
• 其餘

• Hive執行
• HQL --> Job --> Map/Reduce
• 執行計劃
• explain [extended] hql
• 樣例
• select col,count(1) from test2 group by col;
• explain select col,count(1) from test2 group by col;

• Hive表優化
• 分區
• set hive.exec.dynamic.partition=true;
• set hive.exec.dynamic.partition.mode=nonstrict;
• 靜態分區
• 動態分區
• 分桶
• set hive.enforce.bucketing=true;
• set hive.enforce.sorting=true;
• 數據
• 相同數據儘可能彙集在一塊兒

• Hive Job優化
• 並行化執行
• 每一個查詢被hive轉化成多個階段，有些階段關聯性不大，則能夠並行化執行，減小執行時間
• set hive.exec.parallel= true;
• set hive.exec.parallel.thread.numbe=8;
• 本地化執行
• job的輸入數據大小必須小於參數:hive.exec.mode.local.auto.inputbytes.max(默認128MB)
• job的map數必須小於參數:hive.exec.mode.local.auto.tasks.max(默認4)
• job的reduce數必須爲0或者1
• set hive.exec.mode.local.auto=true;
• 當一個job知足以下條件才能真正使用本地模式:
• job合併輸入小文件
• set hive.input.format = org.apache.hadoop.hive.ql.io.CombineHiveInputFormat
• 合併文件數由mapred.max.split.size限制的大小決定
• job合併輸出小文件
• set hive.merge.smallfiles.avgsize=256000000;當輸出文件平均小於該值，啓動新job合併文件
• set hive.merge.size.per.task=64000000;合併以後的文件大小
• JVM重利用
• set mapred.job.reuse.jvm.num.tasks=20;
• JVM重利用可使得JOB長時間保留slot,直到做業結束，這在對於有較多任務和較多小文件的任務是很是有意義的，減小執行時間。固然這個值不能設置過大，由於有些做業會有reduce任務，若是reduce任務沒有完成，則map任務佔用的slot不能釋放，其餘的做業可能就須要等待。
• 壓縮數據
• set hive.exec.compress.output=true;
• set mapred.output.compreession.codec=org.apache.hadoop.io.compress.GzipCodec;
• set mapred.output.compression.type=BLOCK;
• set hive.exec.compress.intermediate=true;
• set hive.intermediate.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;
• set hive.intermediate.compression.type=BLOCK;
• 中間壓縮就是處理hive查詢的多個job之間的數據，對於中間壓縮，最好選擇一個節省cpu耗時的壓縮方式
• hive查詢最終的輸出也能夠壓縮
• Hive Map優化
  
• set mapred.map.tasks =10; 無效
• (1)默認map個數
• default_num=total_size/block_size;
• (2)指望大小
• goal_num=mapred.map.tasks;
• (3)設置處理的文件大小
• split_size=max(mapred.min.split.size,block_size);
• split_num=total_size/split_size;
• (4)計算的map個數
• compute_map_num=min(split_num,max(default_num,goal_num))
• 通過以上的分析，在設置map個數的時候，能夠簡答的總結爲如下幾點：
• 增大mapred.min.split.size的值
• 若是想增長map個數，則設置mapred.map.tasks爲一個較大的值
• 若是想減少map個數，則設置mapred.min.split.size爲一個較大的值
• 狀況1：輸入文件size巨大，但不是小文件
• 狀況2：輸入文件數量巨大，且都是小文件，就是單個文件的size小於blockSize。這種狀況經過增大mapred.min.split.size不可行，須要使用combineFileInputFormat將多個input path合併成一個InputSplit送給mapper處理，從而減小mapper的數量。
• map端聚合
• set hive.map.aggr=true;
• 推測執行
• mapred.map.tasks.apeculative.execution
• Hive Shuffle優化
  
• Map端
• io.sort.mb
• io.sort.spill.percent
• min.num.spill.for.combine
• io.sort.factor
• io.sort.record.percent
• Reduce端
• mapred.reduce.parallel.copies
• mapred.reduce.copy.backoff
• io.sort.factor
• mapred.job.shuffle.input.buffer.percent
• mapred.job.shuffle.input.buffer.percent
• mapred.job.shuffle.input.buffer.percent
• Hive Reduce優化
  
• 須要reduce操做的查詢
• group by,join,distribute by,cluster by...
• order by比較特殊,只須要一個reduce
• sum,count,distinct...
• 聚合函數
• 高級查詢
• 推測執行
• mapred.reduce.tasks.speculative.execution
• hive.mapred.reduce.tasks.speculative.execution
• Reduce優化
• numRTasks = min[maxReducers,input.size/perReducer]
• maxReducers=hive.exec.reducers.max
• perReducer = hive.exec.reducers.bytes.per.reducer
• hive.exec.reducers.max 默認 ：999
• hive.exec.reducers.bytes.per.reducer 默認:1G
• set mapred.reduce.tasks=10;直接設置
• 計算公式

• Hive查詢操做優化
  
• join優化
• 關聯操做中有一張表很是小
• 不等值的連接操做
• set hive.auto.current.join=true;
• hive.mapjoin.smalltable.filesize默認值是25mb
• select /*+mapjoin(A)*/ f.a,f.b from A t join B f on (f.a=t.a)
• hive.optimize.skewjoin=true;若是是Join過程出現傾斜，應該設置爲true
• set hive.skewjoin.key=100000; 這個是join的鍵對應的記錄條數超過這個值則會進行優化
• mapjoin
• 簡單總結下,mapjoin的使用場景:
• Bucket join
• 兩個表以相同方式劃分桶
• 兩個表的桶個數是倍數關係
• crete table order(cid int,price float) clustered by(cid) into 32 buckets;
• crete table customer(id int,first string) clustered by(id) into 32 buckets;
• select price from order t join customer s on t.cid=s.id
  
• join 優化前
• select m.cid,u.id from order m join customer u on m.cid=u.id where m.dt='2013-12-12';
  
• join優化後
  
• select m.cid,u.id from (select cid from order where dt='2013-12-12')m join customer u on m.cid=u.id;
• group by 優化
• hive.groupby.skewindata=true;若是是group by 過程出現傾斜 應該設置爲true
• set hive.groupby.mapaggr.checkinterval=100000;--這個是group的鍵對應的記錄條數超過這個值則會進行優化

• count distinct 優化
  
• 優化前
• select count(distinct id) from tablename
• 優化後
• select count(1) from (select distinct id from tablename) tmp;
• select count(1) from (select id from tablename group by id) tmp;
• 優化前
• select a,sum(b),count(distinct c),count(distinct d) from test group by a
• 優化後
• select a,sum(b) as b,count(c) as c,count(d) as d from(select a,0 as b,c,null as d from test group by a,c union all select a,0 as b,null as c,d from test group by a,d union all select a,b,null as c,null as d from test)tmp1 group by a;