（轉載）Hive學習筆記--Hive 參數

第一部分：Hive 參數

hive.exec.max.created.files

•說明：全部hive運行的map與reduce任務能夠產生的文件的和

•默認值:100000 

hive.exec.dynamic.partition

•說明：是否爲自動分區

•默認值：false

hive.mapred.reduce.tasks.speculative.execution

•說明：是否打開推測執行

•默認值：true

hive.input.format

•說明：Hive默認的input format

•默認值： org.apache.hadoop.hive.ql.io.CombineHiveInputFormat

•若是有問題能夠使用org.apache.hadoop.hive.ql.io.HiveInputFormat

hive.exec.counters.pull.interval

•說明：Hive與JobTracker拉取counter信息的時間

•默認值：1000ms 

hive.script.recordreader

•說明：使用腳本時默認的讀取類

•默認值： org.apache.hadoop.hive.ql.exec.TextRecordReader

hive.script.recordwriter

•說明：使用腳本時默認的數據寫入類

•默認值： org.apache.hadoop.hive.ql.exec.TextRecordWriter

hive.mapjoin.check.memory.rows

•說明： 內存裏能夠存儲數據的行數

•默認值： 100000

hive.mapjoin.smalltable.filesize

•說明：輸入小表的文件大小的閥值，若是小於該值，就採用普通的join

•默認值： 25000000

hive.auto.convert.join

•說明：是否是依據輸入文件的大小，將Join轉成普通的Map Join

•默認值： false

hive.mapjoin.followby.gby.localtask.max.memory.usage

•說明：map join作group by 操做時，能夠使用多大的內存來存儲數據，若是數據太大，則不會保存在內存裏

•默認值：0.55

hive.mapjoin.localtask.max.memory.usage

•說明：本地任務能夠使用內存的百分比

•默認值： 0.90

hive.heartbeat.interval

•說明：在進行MapJoin與過濾操做時，發送心跳的時間

•默認值1000

hive.merge.size.per.task

•說明： 合併後文件的大小

•默認值： 256000000

hive.mergejob.maponly

•說明： 在只有Map任務的時候 合併輸出結果

•默認值： true

hive.merge.mapredfiles

•默認值： 在做業結束的時候是否合併小文件

•說明： false

hive.merge.mapfiles

•說明：Map-Only Job是否合併小文件

•默認值：true

hive.hwi.listen.host

•說明：Hive UI 默認的host

•默認值：0.0.0.0

hive.hwi.listen.port

•說明：Ui監聽端口

•默認值：9999

hive.exec.parallel.thread.number

•說明：hive能夠並行處理Job的線程數

•默認值：8

hive.exec.parallel

•說明：是否並行提交任務

•默認值：false

hive.exec.compress.output

•說明：輸出使用壓縮

•默認值： false

hive.mapred.mode

•說明： MapReduce的操做的限制模式，操做的運行在該模式下沒有什麼限制

•默認值： nonstrict

hive.join.cache.size

•說明： join操做時，能夠存在內存裏的條數

•默認值： 25000

hive.mapjoin.cache.numrows

•說明： mapjoin 存在內存裏的數據量

•默認值：25000

hive.join.emit.interval

•說明： 有鏈接時Hive在輸出前，緩存的時間

•默認值： 1000

hive.optimize.groupby

•說明：在作分組統計時，是否使用bucket table

•默認值： true

hive.fileformat.check

•說明：是否檢測文件輸入格式

•默認值：true

hive.metastore.client.connect.retry.delay

•說明： client 鏈接失敗時,retry的時間間隔

•默認值：1秒

hive.metastore.client.socket.timeout

•說明:  Client socket 的超時時間

•默認值：20秒

mapred.reduce.tasks

•默認值：-1

•說明：每一個任務reduce的默認值

 -1 表明自動根據做業的狀況來設置reduce的值 

hive.exec.reducers.bytes.per.reducer

•默認值： 1000000000 （1G）

•說明：每一個reduce的接受的數據量

    若是送到reduce的數據爲10G,那麼將生成10個reduce任務 

hive.exec.reducers.max

•默認值：999

•說明： reduce的最大個數      

hive.exec.reducers.max

•默認值：999

•說明： reduce的最大個數

hive.metastore.warehouse.dir

•默認值：/user/hive/warehouse

•說明： 默認的數據庫存放位置

hive.default.fileformat

•默認值：TextFile

•說明： 默認的fileformat

hive.map.aggr

•默認值：true

•說明： Map端聚合，至關於combiner

hive.exec.max.dynamic.partitions.pernode

•默認值：100

•說明：每一個任務節點能夠產生的最大的分區數

hive.exec.max.dynamic.partitions

•默認值：1000

•說明： 默認的能夠建立的分區數

hive.metastore.server.max.threads

•默認值：100000

•說明： metastore默認的最大的處理線程數

hive.metastore.server.min.threads

•默認值：200

•說明： metastore默認的最小的處理線程數