hadoop配置類一覽(持續更新中)

整個hadoop的配置項估計有1000+,目前官方文檔尚未徹底的配置列表,只能靠看源碼(依然仍是有很多配置未被統一寫到常量類裏的,配置參數的key和默認值都被放到具體的功能模塊裏了)如下是暫時看到的一些集中的配置相關的類(持續更新中),供廣大hadoop愛好者們瞭解,hadoop的優化少不了這些配置。 java

core-site.xml加載於:org.apache.hadoop.hdfs.server.namenode.FSNamesystem.java node



map/reduce配置類: apache

org.apache.hadoop.mapreduce.MRJobConfig.java oop

org.apache.hadoop.mapreduce.MRConfig.java(m/r集羣相關) 優化

加載於:org.apache.hadoop.mapreduce.util.ConfigUtil.java spa


jobtracker配置類(繼承MRConfig,以「mapreduce.jobtracker」開頭的key) 日誌

org.apache.hadoop.mapreduce.server.jobtracker.JTConfig.java server

tasktracker配置類(繼承MRConfig,以「mapreduce.tasktracker」開頭的key): xml

org.apache.hadoop.mapreduce.server.tasktracker.TTConfig.java 繼承

hdfs配置類:

org.apache.hadoop.hdfs.DFSConfigKeys.java

加載於org.apache.hadoop.hdfs.HdfsConfiguration.java:



另一些fault-tolerant(或者說disaster-tolerance)機制相關的:

org.apache.hadoop.hdfs.server.namenode.CheckpointConf.java引用了hdfs配置類,主要爲節點檢查點相關配置,即啓動hadoop時看到的secondaryNameNode負責記錄的一些鏡像fsimage和日誌editLog等系列操做相關的配置參數,用於nameNode掛掉以後恢復工做用的(本人語文水平不高,語無倫次的感受)。

相關文章
相關標籤/搜索