hadoop集羣默認配置和經常使用配置(轉)

獲取默認配置

配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三個配置文 件，默認下來，這些配置文件都是空的，因此很難知道這些配置文件有哪些配置能夠生效，上網找的配置可能由於各個hadoop版本不一樣，致使沒法生效。瀏覽 更多的配置，有兩個方法:
1.選擇相應版本的hadoop,下載解壓後，搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,這些就是默認配置,能夠參考這些配置的說明和key，配置hadoop集羣。
2.瀏覽apache官網,三個配置文件連接以下:
   http://hadoop.apache.org/common/docs/r0.20.2/core-default.html
   http://hadoop.apache.org/common/docs/r0.20.2/hdfs-default.html
   http://hadoop.apache.org/common/docs/r0.20.0/mapred-default.html
   這裏是瀏覽hadoop當前版本號的默認配置文件，其餘版本號，要另外去官網找。
其中第一個方法找到默認的配置是最好的，由於每一個屬性都有說明，能夠直接使用。
另外，core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分別是hdfs和mapred的局部配置。

經常使用的端口配置

HDFS端口

參數	描述	默認	配置文件	例子值
fs.default.name	namenode RPC交互端口	8020	core-site.xml	hdfs://master:8020/
dfs.http.address	NameNode web管理端口	50070	hdfs-site.xml	0.0.0.0:50070
dfs.datanode.address	datanode　控制端口	50010	hdfs-site.xml	0.0.0.0:50010
dfs.datanode.ipc.address	datanode的RPC服務器地址和端口	50020	hdfs-site.xml	0.0.0.0:50020
dfs.datanode.http.address	datanode的HTTP服務器和端口	50075	hdfs-site.xml	0.0.0.0:50075

 　　　　　　　　　　　　　　  　　　　 　　　　　　　　　　 　　　 　　　　
 　　　　　　　　　 　　　　 　　 　　
 　　　　　　　　 　　　　 　　  
 　　　　　   　　　　　　　 　　
 　　　    　  　　

MR端口

參數	描述	默認	配置文件	例子值
mapred.job.tracker	job tracker交互端口	8021	mapred-site.xml	hdfs://master:8021/
mapred.job.tracker.http.address	job tracker的web管理端口	50030	mapred-site.xml	0.0.0.0:50030
mapred.task.tracker.http.address	task tracker的HTTP端口	50060	mapred-site.xml	0.0.0.0:50060

 　　　　　　　　　　　　　　　　   　　　　　　　　　　        　　　　　　
 　　　　　　　　　　　　　    　　
 　　 　  　　

其餘端口

參數	描述	默認	配置文件	例子值
dfs.secondary.http.address	secondary NameNode web管理端口	50090	hdfs-site.xml	0.0.0.0:28680

 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　　　

集羣目錄配置

參數	描述	默認	配置文件	例子值
dfs.name.dir	name node的元數據,以,號隔開,hdfs會把元數據冗餘複製到這些目錄，通常這些目錄是不一樣的塊設備，不存在的目錄會被忽略掉	{hadoop.tmp.dir} /dfs/name	hdfs-site.xm	/hadoop/hdfs/name
dfs.name.edits.dir	node node的事務文件存儲的目錄,以,號隔開,hdfs會把事務文件冗餘複製到這些目錄，通常這些目錄是不一樣的塊設備，不存在的目錄會被忽略掉	${dfs.name.dir}	hdfs-site.xm	${dfs.name.dir}
fs.checkpoint.dir	secondary NameNode的元數據以,號隔開,hdfs會把元數據冗餘複製到這些目錄，通常這些目錄是不一樣的塊設備，不存在的目錄會被忽略掉	${hadoop.tmp.dir} /dfs/namesecondary	core-site.xml	/hadoop/hdfs/namesecondary
fs.checkpoint.edits.dir	secondary NameNode的事務文件存儲的目錄,以,號隔開,hdfs會把事務文件冗餘複製到這些目錄	${fs.checkpoint.dir}	core-site.xml	${fs.checkpoint.dir}
hadoop.tmp.dir	臨時目錄,其餘臨時目錄的父目錄	/tmp/hadoop-${user.name}	core-site.xml	/hadoop/tmp/hadoop-${user.name}
dfs.data.dir	data node的數據目錄,以,號隔開,hdfs會把數據存在這些目錄下，通常這些目錄是不一樣的塊設備，不存在的目錄會被忽略掉	${hadoop.tmp.dir} /dfs/data	hdfs-site.xm	/hadoop/hdfs/data1/data, /hadoop/hdfs/data2/data
mapred.local.dir	MapReduce產生的中間數據存放目錄,以,號隔開,hdfs會把數據存在這些目錄下，通常這些目錄是不一樣的塊設備，不存在的目錄會被忽略掉	${hadoop.tmp.dir} /mapred/local	mapred-site.xml	/hadoop/hdfs/data1/mapred/local, /hadoop/hdfs/data2/mapred/local
mapred.system.dir	MapReduce的控制文件	${hadoop.tmp.dir} /mapred/system	mapred-site.xml	/hadoop/hdfs/data1/system

 

其餘配置

 

參數	描述	默認	配置文件	例子值
dfs.support.append	支持文件append，主要是支持hbase	false	hdfs-site.xml	true
dfs.replication	文件複製的副本數，若是建立時不指定這個參數，就使用這個默認值做爲複製的副本數	3	hdfs-site.xml	2