Hadoop core-site.xml 配置項列表

core-default.xml與core-site.xml的功能是同樣的，若是在core-site.xml裏沒有配置的屬性，則會自動會獲取core-default.xml裏的相同屬性的值

官方文檔：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/core-default.xml

如下表格中專業詞簡稱：

NN:NameNode

DN:DataNode

SNN:SecondaryNameNode

 

屬性	值	說明
fs.default.name	hdfs://master:9000	定義master的URI和端口
fs.checkpoint.dir	${hadoop.tmp.dir}(默認) /dfs/namesecondary	SNN的元數據以,號隔開,hdfs會把元數據冗餘複製到這些目錄，通常這些目錄是不一樣的塊設備，不存在的目錄會被忽略掉
fs.checkpoint.period	1800	定義ND的備份間隔時間，秒爲單位，只對SNN效，默認一小時
fs.checkpoint.size	33554432	以日誌大小間隔作備份間隔，只對SNN生效，默認64M
fs.checkpoint.edits.dir	${fs.checkpoint.dir}(默認)	SNN的事務文件存儲的目錄,以,號隔開,hdfs會把事務文件冗餘複製到這些目錄
fs.trash.interval	10800	HDFS垃圾箱設置，能夠恢復誤刪除，分鐘數，0爲禁用，添加該項無需重啓hadoop
hadoop.tmp.dir	/tmp/hadoop	臨時文件夾，指定後需將使用到的全部子級文件夾都要手動建立出來，不然沒法正常啓動服務。
hadoop.http.filter.initializers	org.apache.hadoop.security. AuthenticationFilterInitializer (排版調整，實際配置不要回車)	須要jobtracker,tasktracker NN,DN等http訪問端口用戶驗證使用，需配置全部節點
hadoop.http.authentication.type	simple | kerberos | #AUTHENTICATION_HANDLER_CLASSNAME#	驗證方式，默認爲簡單，也可本身定義class,需配置全部節點
hadoop.http.authentication.token.validity	36000	驗證令牌的有效時間,需配置全部節點
hadoop.http.authentication.signature.secret	默承認不寫參數	默認不寫在hadoop啓動時自動生成私密簽名,需配置全部節點
hadoop.http.authentication.cookie.domain	domian.tld	http驗證所使用的cookie的域名，IP地址訪問則該項無效，必須給全部節點都配置域名才能夠。
hadoop.http.authentication. simple.anonymous.allowed	true | false	簡單驗證專用，默認容許匿名訪問，true
hadoop.http.authentication.kerberos.principal	HTTP/localhost@$LOCALHOST	Kerberos驗證專用，參加認證的實體機必須使用HTTP做爲K的Name
hadoop.http.authentication.kerberos.keytab	/home/hadoop/hadoop.keytab	Kerberos驗證專用，密鑰文件存放位置
hadoop.security.authorization	true|false	Hadoop服務層級驗證安全驗證，需配合hadoop-policy.xml使用，配置好之後用dfsadmin,mradmin -refreshServiceAcl刷新生效
hadoop.security.authentication	simple | kerberos	hadoop自己的權限驗證，非http訪問，simple或者kerberos
hadoop.logfile.size	1000000000	設置日誌文件大小，超過則滾動新日誌
hadoop.logfile.count	20	最大日誌數
io.bytes.per.checksum	1024	每校驗碼所校驗的字節數，不要大於io.file.buffer.size
io.skip.checksum.errors	true | false	處理序列化文件時跳過校驗碼錯誤，不拋異常。默認false
io.serializations	org.apache.hadoop.io.serializer.WritableSerialization	序列化的編解碼器
io.seqfile.compress.blocksize	1024000	塊壓縮的序列化文件的最小塊大小，字節
io.compression.codecs	org.apache.hadoop.io.compress.DefaultCodec, com.hadoop.compression.lzo.LzoCodec, com.hadoop.compression.lzo.LzopCodec, org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.BZip2Codec, org.apache.hadoop.io.compress.SnappyCodec (排版調整，實際配置不要回車)	Hadoop所使用的編解碼器，gzip、bzip2爲自帶，lzo需安裝hadoopgpl或者kevinweil，逗號分隔。 snappy須要單獨安裝並修改hadoop-env.sh配置LD_LIBRARY_PATH=snappy類庫位置
io.compression.codec.lzo.class	com.hadoop.compression.lzo.LzoCodec	LZO所使用的壓縮編碼器
io.file.buffer.size	131072	用做序列化文件處理時讀寫buffer的大小
webinterface.private.actions	true | false	設爲true，則JT和NN的tracker網頁會出現殺任務刪文件等操做鏈接，默認是false
topology.script.file.name	/hadoop/bin/RackAware.py	機架感知腳本位置
topology.script.number.args	1000	機架感知腳本管理的主機數，IP地址