整個hadoop的配置項估計有1000+,目前官方文檔尚未徹底的配置列表,只能靠看源碼(依然仍是有很多配置未被統一寫到常量類裏的,配置參數的key和默認值都被放到具體的功能模塊裏了)如下是暫時看到的一些集中的配置相關的類(持續更新中),供廣大hadoop愛好者們瞭解,hadoop的優化少不了這些配置。 java
core-site.xml加載於:org.apache.hadoop.hdfs.server.namenode.FSNamesystem.java node
map/reduce配置類: apache
org.apache.hadoop.mapreduce.MRJobConfig.java oop
org.apache.hadoop.mapreduce.MRConfig.java(m/r集羣相關) 優化
加載於:org.apache.hadoop.mapreduce.util.ConfigUtil.java spa
jobtracker配置類(繼承MRConfig,以「mapreduce.jobtracker」開頭的key): 日誌
org.apache.hadoop.mapreduce.server.jobtracker.JTConfig.java server
tasktracker配置類(繼承MRConfig,以「mapreduce.tasktracker」開頭的key): xml
org.apache.hadoop.mapreduce.server.tasktracker.TTConfig.java 繼承
hdfs配置類:
org.apache.hadoop.hdfs.DFSConfigKeys.java
加載於org.apache.hadoop.hdfs.HdfsConfiguration.java:
另一些fault-tolerant(或者說disaster-tolerance)機制相關的:
org.apache.hadoop.hdfs.server.namenode.CheckpointConf.java引用了hdfs配置類,主要爲節點檢查點相關配置,即啓動hadoop時看到的secondaryNameNode負責記錄的一些鏡像fsimage和日誌editLog等系列操做相關的配置參數,用於nameNode掛掉以後恢復工做用的(本人語文水平不高,語無倫次的感受)。