Hadoop配置項整理(core-site.xml)

記錄一下Hadoop的配置和說明，用到新的配置項會補充進來，不按期更新。以配置文件名劃分

以hadoop 1.x配置爲例

core-site.xml

 

name	value	Description
fs.default.name	hdfs://hadoopmaster:9000	定義HadoopMaster的URI和端口
fs.checkpoint.dir	/opt/data/hadoop1/hdfs/namesecondary1	定義hadoop的name備份的路徑，官方文檔說是讀取這個，寫入dfs.name.dir
fs.checkpoint.period	1800	定義name備份的備份間隔時間，秒爲單位，只對snn生效，默認一小時
fs.checkpoint.size	33554432	以日誌大小間隔作備份間隔，只對snn生效，默認64M
io.compression.codecs	org.apache.hadoop.io.compress.DefaultCodec, com.hadoop.compression.lzo.LzoCodec, com.hadoop.compression.lzo.LzopCodec, org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.BZip2Codec (排版調整，實際配置不要回車)	Hadoop所使用的編×××，gzip和bzip2爲自帶，lzo需安裝hadoopgpl或者kevinweil，逗號分隔，snappy也須要單獨安裝
io.compression.codec.lzo.class	com.hadoop.compression.lzo.LzoCodec	LZO所使用的壓縮編碼器
topology.script.file.name	/hadoop/bin/RackAware.py	機架感知腳本位置
topology.script.number.args	1000	機架感知腳本管理的主機數，IP地址
fs.trash.interval	10800	HDFS垃圾箱設置，能夠恢復誤刪除，分鐘數，0爲禁用，添加該項無需重啓hadoop
hadoop.http.filter.initializers	org.apache.hadoop.security. AuthenticationFilterInitializer (排版調整，實際配置不要回車)	須要jobtracker,tasktracker namenode,datanode等http訪問端口用戶驗證使用，需配置全部節點
hadoop.http.authentication.type	simple | kerberos | #AUTHENTICATION_HANDLER_CLASSNAME#	驗證方式，默認爲簡單，也可本身定義class,需配置全部節點
hadoop.http.authentication. token.validity (排版調整，實際配置不要回車)	36000	驗證令牌的有效時間,需配置全部節點
hadoop.http.authentication. signature.secret (排版調整，實際配置不要回車)	默承認不寫參數	默認不寫在hadoop啓動時自動生成私密簽名,需配置全部節點
hadoop.http.authentication.cookie.domain	domian.tld	http驗證所使用的cookie的域名，IP地址訪問則該項無效，必須給全部節點都配置域名才能夠。
hadoop.http.authentication.  simple.anonymous.allowed (排版調整，實際配置不要回車)	true | false	簡單驗證專用，默認容許匿名訪問，true
hadoop.http.authentication. kerberos.principal (排版調整，實際配置不要回車)	HTTP/localhost@$LOCALHOST	Kerberos驗證專用，參加認證的實體機必須使用HTTP做爲K的Name
hadoop.http.authentication. kerberos.keytab (排版調整，實際配置不要回車)	/home/xianglei/hadoop.keytab	Kerberos驗證專用，密鑰文件存放位置
hadoop.security.authorization	true|false	Hadoop服務層級驗證安全驗證，需配合hadoop-policy.xml使用，配置好之後用dfsadmin,mradmin -refreshServiceAcl刷新生效
io.file.buffer.size	131072	用做序列化文件處理時讀寫buffer的大小
hadoop.security.authentication	simple | kerberos	hadoop自己的權限驗證，非http訪問，simple或者kerberos
hadoop.logfile.size	1000000000	設置日誌文件大小，超過則滾動新日誌
hadoop.logfile.count	20	最大日誌數
io.bytes.per.checksum	1024	每校驗碼所校驗的字節數，不要大於io.file.buffer.size
io.skip.checksum.errors	true | false	處理序列化文件時跳過校驗碼錯誤，不拋異常。默認false
io.serializations	org.apache.hadoop.io. serializer.WritableSerialization (排版須要。實際配置不要回車)	序列化的編×××
io.seqfile.compress.blocksize	1024000	塊壓縮的序列化文件的最小塊大小，字節
webinterface.private.actions	true | false	設爲true，則JT和NN的tracker網頁會出現殺任務刪文件等操做鏈接，默認是false

 

結合Apache手冊和公司裏用的實際配置編寫，實際根據硬件配置的不一樣，參數大小需作調整，目前參數基於namenode 96G內存，datanode 32G內存。有些har,s3,local這樣的fs的implement由於不太會用到，因此沒寫。

水平有限，參數描述理解或翻譯有誤見諒。