Hadoop組件Hbase配置項詳解

重讀hbase文檔，把全部的配置項整理一遍：

hbase.tmp.dir：hadoop本地文件系統的臨時目錄，默認是${hbase.tmp.dir}/hbase，或者直接用絕對路徑如/data/hbase；

hbase.rootdir：hbase持久化的目錄，被全部regionserver共享，默認${hbase.tmp.dir}/hbase，通常設置爲hdfs://CDH1:8020/hbase相似，帶全限定名；

hbase.cluster.distributed：hbase集羣模式運做與否的標誌，默認是false，開啓須要設置爲true，false時啓動hbase會在一個jvm中運行hbase和zk；

hbase.zookeeper.quorum：重要的也是必須設置的，啓動zk的服務器列表，逗號分隔，cluster模式下必須設置，默認是localhost和主機名，hbase客戶端也須要設置這個值去訪問zk；

hbase.local.dir：本地文件系統被用在本地存儲的目錄，默認${hbase.tmp.dir}/local/；

hbase.master.port：hbase master綁定的端口，默認是60000；

hbase.master.info.port：hbase master web 界面的端口，默認是60010，設置爲-1能夠禁用ui；

hbase.master.info.bindAddress：master web界面的綁定地址，默認是0.0.0.0；

hbase.master.logcleaner.plugins：清理日誌的插件列表，逗號分隔，被LogService調用的LogCleanerDelegate，能夠自定義，順序執行，清理WAL和HLog；默認org.apache.hadoop.hbase.master.cleaner.TimeToLiveLogCleaner

hbase.master.logcleaner.ttl：HLog在.oldlogdir目錄中生存的最長時間，過時則被Master起線程回收，默認是600000；

 

hbase.master.hfilecleaner.plugins：HFile的清理插件列表，逗號分隔，被HFileService調用，能夠自定義，默認org.apache.hadoop.hbase.master.cleaner.TimeToLiveHFileCleaner

hbase.master.catalog.timeout：Catalog Janitor從master到META的超時時間，咱們知道這個Janitor是定時的去META掃描表目錄，來決定回收無用的regions，默認是600000；

fail.fast.expired.active.master：若是master過時，那麼不須要從zk恢復，直接終止，默認是false；

hbase.master.dns.interface：master的dns接口，向該接口提供ip，默認是default；

hbase.master.dns.nameserver：master使用的dns主機名或者ip，默認是default；

hbase.regionserver.port：regionserver綁定的端口，默認是60020；

hbase.regionserver.info.port：regionserver的web界面端口，-1取消界面，默認是60030；

hbase.regionserver.info.bindAddress：regionserver的web綁定，默認是0.0.0.0；

hbase.regionserver.info.port.auto：master或者regionserver是否自動搜索綁定的端口，默認是false；

hbase.regionserver.handler.count：regionserver上rpc listener的個數，能夠理解爲io線程數，就是說在regionserver上一個處理rpc的handler，默認是30；

hbase.regionserver.msginterval：regionserver向master發消息的間隔，默認3000毫秒；

hbase.regionserver.optionallogflushinterval：若是沒有足夠的entry觸發同步，那麼過了這個間隔後HLog將被同步到HDFS，默認是1000毫秒；

hbase.regionserver.regionSplitLimit：regionsplit的最大限額，默認是MAX_INT=2147483647，設置這個限制後，在到達限制時region split就不會再進行；

hbase.regionserver.logroll.period：無論有多少版本，直接roll掉commit log的週期，也就是說一個固定的時間週期，到期就roll，默認是3600000毫秒；

hbase.regionserver.logroll.errors.tolerated：可接受的WAL關閉錯誤個數，到達後將觸發服務器終止；設置爲0那麼在WAL writer作log rolling失敗時就中止region server，默認是2；

hbase.regionserver.hlog.reader.impl：HLog 文件reader的實現類，默認是org.apache.hadoop.hbase.regionserver.wal.ProtobufLogReader；

hbase.regionserver.hlog.writer.impl：HLog 文件writer的實現類，默認是org.apache.hadoop.hbase.regionserver.wal.ProtobufLogWriter；

hbase.regionserver.global.memstore.upperLimit：memstore在regionserver內存中的上限，屆時新的update被阻塞而且flush被強制寫，默認是0.4就是堆內存的40%；阻塞狀態持續到regionserver的全部memstore的容量到達hbase.regionserver.global.memstore.lowerLimit；

hbase.regionserver.global.memstore.lowerLimit：memstore在regionserver內存中的最大上限，到達時flush就被強制寫，默認是0.38等價於38%的內存容量；

hbase.regionserver.optionalcacheflushinterval：一個edit版本在內存中的cache時長，默認3600000毫秒，設置爲0的話則禁止自動flush；

hbase.regionserver.catalog.timeout：regionserver的Catalog Janitor訪問META的超時時間，默認是600000；

hbase.regionserver.dns.interface：同master相似~~不講

hbase.regionserver.dns.nameserver：同master相似

zookeeper.session.timeout：這是個值得說道一下的配置，首先ZK客戶端要用，Hbase使用zk的客戶端聯繫整體，同時也被用來啓動一個zk server，做爲zk的maxSessionTimeout，總的來講就是regionserver與zk的關鍵參數，若是鏈接超時，master會從新的balance，regionserver也會被從集羣名單中清除，默認是90000；一個問題是若是zk 由hbase本身維護，那麼該參數做爲regionserver鏈接是一個值，若是zk在另外的集羣，那麼zk本身的maxSessionTimeout參數將優先於Hbase的該參數，屆時可能會發生超時時間不一樣的問題；

zookeeper.znode.parent：znode存放root region的地址，默認是root-region-server；

zookeeper.znode.acl.parent：root znode的acl，默認acl；

hbase.zookeeper.dns.interface：zk的dns接口，默認default；

hbase.zookeeper.dns.nameserver：zk的dns服務地址，默認default；

hbase.zookeeper.peerport：zk的peer之間的通信端口，默認是2888；

hbase.zookeeper.leaderport：zk選leader的通信端口，默認是3888；

hbase.zookeeper.useMulti：zk支持多重update，要求zk在3.4版本以上，默認是false；

hbase.config.read.zookeeper.config：讓hbaseconfig去讀zk的config，默認false，也不支持開啓，這個功能很搞笑~~我的觀點；

hbase.zookeeper.property.initLimit：zk的配置，同步的屬性個數限制，默認10個~~沒用；

hbase.zookeeper.property.syncLimit：zk的配置，同步時的每次請求的條數，默認5個；

hbase.zookeeper.property.dataDir：zk的配置，snapshot存放的目錄，默認是${hbase.tmp.dir}/zookeeper；

hbase.zookeeper.property.clientPort：zk的配置，client連zk的端口，默認2181；

hbase.zookeeper.property.maxClientCnxns：zk的配置，容許接入zk的最大併發鏈接數的限制，按ip分配，默認300；

hbase.client.write.buffer：htable客戶端寫緩衝區大小，默認是2097152BYTE，這個緩衝區就是爲了寫數據的臨時存放，設置大了，浪費客戶端和服務端的存儲，設置小了，若是寫的數據多，太多的RPC又帶來網絡開銷，官方給的一個服務端存儲耗費評估計算是：hbase.client.write.buffer*hbase.regionserver.handler.count，服務端的rs的處理handler個數也很關鍵；

hbase.client.pause：pause時長，在hbase發生get或其餘操做fail掉的時候進行pause的時間長度，默認是100；

hbase.client.retries.number：發生操做fail時的重試次數，結合上一個指標一塊兒來控制總的重試時間，默認是35；

hbase.client.max.total.tasks：一個HTable實例能夠提交給集羣的最大併發任務數，默認是100；

hbase.client.max.perserver.tasks：一個HTable實例給一臺regionserver提交的最大併發任務數，默認是5；

hbase.client.max.perregion.tasks：客戶端鏈接一臺region的最大鏈接數，換句話說，當你有這麼多個鏈接在region時，新的操做不被髮送直到有操做完成，默認是1；

hbase.client.scanner.caching：作scanner的next操做時（若是再本地client沒找到）緩存的數據行數，這個值的設置也須要權衡，緩存的多則快，但吃內存，緩存的少則須要多的拉數據， 須要注意的事項是若是兩次調用的時間差大於scanner的timeout，則不要設置該值，默認是100；

hbase.client.keyvalue.maxsize：一個KeyValue實例的最大大小，這是存儲文件中一個entry的容量上限，合理的設置這個值能夠控制regionserver的split，split不會拆keyvalue，因此把keyvalue的大小設置爲regionserver大小的一個比例分數（可除）是個不錯的選擇，默認是10485760；

hbase.client.scanner.timeout.period：結合剛纔的caching作的一個，scanner的超時時間，默認是60000毫秒；

hbase.client.localityCheck.threadPoolSize：作localityCheck的線程池大小，默認是2；

hbase.bulkload.retries.number：作bulk load的最大重試次數，默認是0，即表明不斷重試；

hbase.balancer.period：Master運行balancer的週期，默認是300000毫秒；

hbase.regions.slop：若是有regionserver的region數目超過average+(average*slop)，則rebalance，默認是0.2；

hbase.server.thread.wakefrequency：服務線程的sleep時間，默認10000毫秒，好比log roller；

hbase.server.versionfile.writeattempts：退出前寫 version file的重試次數，默認3，每次嘗試的間隔由上一個參數控制；

hbase.hregion.memstore.flush.size：Memstore寫磁盤的flush閾值，超過這個大小就flush，默認是134217728；

hbase.hregion.preclose.flush.size：若是一個region的memstore的大小等於或超過這個參數的量，在關閉region時（放置關閉flag），要提早flush，而後region關閉下線，默認大小是5242880；

hbase.hregion.memstore.block.multiplier：若是memstore的大小知足hbase.hregion.block.memstore * hbase.hregion.flush.size個byte，那麼阻塞update，這個配置能夠避免沒必要要的長時間split或者compact，甚至是OOME，默認是2；

hbase.hregion.memstore.mslab.enabled：開啓MemStore-Local Allocation Buffer，這個配置能夠避免在高寫入的狀況下的堆內存碎片，能夠下降在大堆狀況下的stop-the-world GC頻率，默認是true；

hbase.hregion.max.filesize：HStoreFile的最大尺寸，換句話說，當一個region裏的列族的任意一個HStoreFile超過這個大小，那麼region進行split，默認是10737418240；

hbase.hregion.majorcompaction：一個region的全部HStoreFile進行major compact的時間週期，默認是604800000 毫秒（7天）；

hbase.hregion.majorcompaction.jitter：major compaction的發生抖動範圍，這麼理解比較容易，就是說上一個參數不是一個嚴格週期，會有個抖動，這個參數就是這個抖動的比例，默認是0.5；

hbase.hstore.compactionThreshold：一個HStore存儲HStoreFile的個數閾值，超過這個閾值則全部的HStoreFile會被寫到一個新的HStore，須要平衡取捨，默認是3；

hbase.hstore.blockingStoreFiles：一個HStore存儲HStoreFile阻塞update的閾值，超過這個閾值，HStore就進行compaction，直到作完才容許update，默認是10；

hbase.hstore.blockingWaitTime：一個更強力的配置，配合上一個參數，當HStore阻塞update時，超過這個時間限制，阻塞取消，就算compaction沒有完成，update也不會再被阻塞，默認是90000毫秒；

hbase.hstore.compaction.max：每一個minor compaction的HStoreFile個數上限，默認是10；

hbase.hstore.compaction.kv.max：在flushing或者compacting時容許的最大keyvalue個數，若是有大的KeyValue或者OOME的話則配置一個小的值，若是行數多且小則配置大值，默認是10；

hbase.storescanner.parallel.seek.threads：若是並行查找開啓的線程池大小，默認是10；

hfile.block.cache.size：一個配置比例，容許最大堆的對應比例的內存做爲HFile和HStoreFile的block cache，默認是0.4，即40%，設置爲0則disable這個比例，不推薦這麼作；

hfile.block.index.cacheonwrite：在index寫入的時候容許put無根（non-root）的多級索引塊到block cache裏，默認是false；

hfile.index.block.max.size：在多級索引的樹形結構裏，若是任何一層的block index達到這個配置大小，則block寫出，同時替換上新的block，默認是131072；

hfile.format.version：新文件的HFile 格式版本，設置爲1來測試向後兼容，默認是2；

hfile.block.bloom.cacheonwrite：對於組合布隆過濾器的內聯block開啓cache-on-write，默認是false；

io.storefile.bloom.block.size：一個聯合布隆過濾器的單一塊（chunk）的大小，這個值是一個逼近值，默認是131072；

hbase.rs.cacheblocksonwrite：當一個HFile block完成時是否寫入block cache，默認是false；

hbase.rpc.server.engine：hbase 作rpc server的調度管理類，實現自org.apache.hadoop.ipc.RpcServerEngine，默認是org.apache.hadoop.hbase.ipc.ProtobufRpcServerEngine；

hbase.rpc.timeout：Hbase client發起遠程調用時的超時時限，使用ping來確認鏈接，可是最終會拋出一個TimeoutException，默認值是60000；

hbase.rpc.shortoperation.timeout：另外一個版本的hbase.rpc.timeout，控制短操做的超時時限，好比region server 彙報master的操做的超時時限能夠設置小，這樣有利於master的failover，默認是10000；

hbase.ipc.client.tcpnodelay：默認是true，具體就是在tcp socket鏈接時設置 no delay；

hbase.master.keytab.file：kerberos keytab 文件的全路徑名，用來爲HMaster作log，無默認值；

hbase.master.kerberos.principal：運行HMaster進程時須要kerberos的principal name，這個配置就是這個name的值，形如：hbase/_HOST@EXAMPLE.COM；

hbase.regionserver.keytab.file：kerberos keytab 文件的全路徑名，用來爲HRegionServer作log，無默認值；

hbase.regionserver.kerberos.principal：運行HRegionServer進程時須要kerberos的principal name，這個配置就是這個name的值，形如：hbase/_HOST@EXAMPLE.COM；

hadoop.policy.file：RPC服務器作權限認證時須要的安全策略配置文件，在Hbase security開啓後使用，默認是habse-policy.xml；

hbase.superuser：Hbase security 開啓後的超級用戶配置，一系列由逗號隔開的user或者group；

hbase.auth.key.update.interval：Hbase security開啓後服務端更新認證key的間隔時間：默認是86400000毫秒；

hbase.auth.token.max.lifetime：Hbase security開啓後，認證token下發後的生存週期，默認是604800000毫秒；

hbase.ipc.client.fallback-to-simple-auth-allowed：client使用安全鏈接去連接一臺非安全服務器時，服務器提示client切換到SASL SIMPLE認證模式（非安全），若是設置爲true，則client贊成切換到非安全鏈接，若是false，則退出鏈接；

hbase.coprocessor.region.classes：逗號分隔的Coprocessores列表，會被加載到默認全部表上。在本身實現了一個Coprocessor後，將其添加到Hbase的classpath並加入全限定名。也能夠延遲加載，由HTableDescriptor指定；

hbase.rest.port：Hbase REST服務器的端口，默認是8080；

hbase.rest.readonly：定義REST服務器啓動的模式，有兩種方式，false：全部http方法都將被經過-GET/PUT/POST/DELETE，true：只有get方法ok。默認值是false；

hbase.rest.threads.max：REST服務器線程池的最大線程數，池滿的話新請求會自動排隊，限制這個配置能夠控制服務器的內存量，預防OOM，默認是100；

hbase.rest.threads.min：同上相似，最小線程數，爲了確保服務器的服務狀態，默認是2；

hbase.rest.support.proxyuser：使REST服務器支持proxy-user 模式，默認是false；

hbase.defaults.for.version.skip：是否跳過hbase.defaults.for.version的檢查，默認是false；

hbase.coprocessor.master.classes：由HMaster進程加載的coprocessors，逗號分隔，所有實現org.apache.hadoop.hbase.coprocessor.MasterObserver，同coprocessor相似，加入classpath及全限定名；

hbase.coprocessor.abortonerror：若是coprocessor加載失敗或者初始化失敗或者拋出Throwable對象，則主機退出。設置爲false會讓系統繼續運行，可是coprocessor的狀態會不一致，因此通常debug時纔會設置爲false，默認是true；

hbase.online.schema.update.enable：設置true來容許在線schema變動，默認是true；

hbase.table.lock.enable：設置爲true來容許在schema變動時zk鎖表，鎖表能夠組織併發的schema變動致使的表狀態不一致，默認是true；

hbase.thrift.minWorkerThreads：線程池的core size，在達到這裏配置的量級後，新線程纔會再新的鏈接創立時建立，默認是16；

hbase.thrift.maxWorkerThreads：顧名思義，最大線程數，達到這個數字後，服務器開始drop鏈接，默認是1000；

hbase.thrift.maxQueuedRequests：Thrift鏈接隊列的最大數，若是線程池滿，會先在這個隊列中緩存請求，緩存上限就是該配置，默認是1000；

hbase.thrift.htablepool.size.max：Thrift服務器上table pool的最大上限，默認是1000；

hbase.offheapcache.percentage：JVM參數-XX:MaxDirectMemorySize的百分比值，默認是0，即不開啓堆外分配；

hbase.data.umask.enable：開啓後，文件在regionserver寫入時會 有權限相關設定，默認是false不開啓；

hbase.data.umask：開啓上面一項配置後，文件的權限umask，默認是000；

hbase.metrics.showTableName：是否爲每一個指標顯示錶名前綴，默認是true；

hbase.metrics.exposeOperationTimes：是否進行關於操做在使用時間維度的指標報告，好比GET PUT DELETE INCREMENT等，默認是true；

hbase.snapshot.enabled：是否容許snapshot被使用、存儲和克隆，默認是true；

hbase.snapshot.restore.take.failsafe.snapshot：在restore過程當中，若是失敗則啓用snapshot替換，成功則刪除掉snapshot，默認開啓true；

hbase.snapshot.restore.failsafe.name：剛纔所說過程當中snapshot的名字，默認是hbase-failsafe-{snapshot.name}-{restore.timestamp}；

hbase.server.compactchecker.interval.multiplier：檢查是否須要compact的時間間隔，通常狀況是在好比memstore flush後或者其餘事件觸發compact的，可是有時也須要不一樣的compact策略，因此須要週期性的檢查具體間隔=hbase.server.compactchecker.interval.multiplier * hbase.server.thread.wakefrequency，默認1000；

hbase.lease.recovery.timeout：在dfs 租約超時時限，超時則放棄，默認是900000；

hbase.lease.recovery.dfs.timeout：dfs恢復租約調用的超時時限，默認是64000；

參考官方文檔：http://hbase.apache.org/book.html