name | value | Description |
dfs.default.chunk.view.size | 32768 | namenode的http訪問頁面中針對每一個文件的內容顯示大小,一般無需設置。 |
dfs.datanode.du.reserved | 1073741824 | 每塊磁盤所保留的空間大小,須要設置一些,主要是給非hdfs文件使用,默認是不保留,0字節 |
dfs.name.dir | /opt/data1/hdfs/name, /opt/data2/hdfs/name, /nfs/data/hdfs/name |
NN所使用的元數據保存,通常建議在nfs上保留一份,做爲1.0的HA方案使用,也能夠在一臺服務器的多塊硬盤上使用 |
dfs.web.ugi | nobody,nobody | NN,JT等所使用的web tracker頁面服務器所使用的用戶和組 |
dfs.permissions | true | false | dfs權限是否打開,我通常設置false,經過開發工具培訓別人界面操做避免誤操做,設置爲true有時候會遇到數據由於權限訪問不了。 |
dfs.permissions.supergroup | supergroup | 設置hdfs超級權限的組,默認是supergroup,啓動hadoop所使用的用戶一般是superuser。 |
dfs.data.dir | /opt/data1/hdfs/data, /opt/data2/hdfs/data, /opt/data3/hdfs/data, ... |
真正的datanode數據保存路徑,能夠寫多塊硬盤,逗號分隔 |
dfs.datanode.data.dir.perm | 755 | datanode所使用的本地文件夾的路徑權限,默認755 |
dfs.replication | 3 | hdfs數據塊的複製份數,默認3,理論上份數越多跑數速度越快,可是須要的存儲空間也更多。有錢人能夠調5或者6 |
dfs.replication.max | 512 | 有時dn臨時故障恢復後會致使數據超過默認備份數。複製份數的最多數,一般沒什麼用,不用寫配置文件裏。 |
dfs.replication.min | 1 | 最小份數,做用同上。 |
dfs.block.size | 134217728 | 每一個文件塊的大小,咱們用128M,默認是64M。這個計算須要128*1024^2,我碰上過有人直接寫128000000,十分浪漫。 |
dfs.df.interval | 60000 | 磁盤用量統計自動刷新時間,單位是毫秒。 |
dfs.client.block.write.retries | 3 | 數據塊寫入的最多重試次數,在這次數以前不會捕獲失敗。 |
dfs.heartbeat.interval | 3 | DN的心跳檢測時間間隔。秒 |
dfs.namenode.handler.count | 10 | NN啓動後展開的線程數。 |
dfs.balance.bandwidthPerSec | 1048576 | 作balance時所使用的每秒最大帶寬,使用字節做爲單位,而不是bit |
dfs.hosts | /opt/hadoop/conf/hosts.allow | 一個主機名列表文件,這裏的主機是容許鏈接NN的,必須寫絕對路徑,文件內容爲空則認爲全均可以。 |
dfs.hosts.exclude | /opt/hadoop/conf/hosts.deny | 基本原理同上,只不過這裏放的是禁止訪問NN的主機名稱列表。這在從集羣中摘除DN會比較有用。 |
dfs.max.objects | 0 | dfs最大併發對象數,HDFS中的文件,目錄塊都會被認爲是一個對象。0表示不限制 |
dfs.replication.interval | 3 | NN計算複製塊的內部間隔時間,一般不需寫入配置文件。默認就好 |
dfs.support.append | true | false | 新的hadoop支持了文件的APPEND操做,這個就是控制是否容許文件APPEND的,可是默認是false,理由是追加還有bug。 |
dfs.datanode.failed.volumes.tolerated | 0 | 可以致使DN掛掉的壞硬盤最大數,默認0就是隻要有1個硬盤壞了,DN就會shutdown。 |
dfs.secondary.http.address | 0.0.0.0:50090 | SNN的tracker頁面監聽地址和端口 |
dfs.datanode.address | 0.0.0.0:50010 | DN的服務監聽端口,端口爲0的話會隨機監聽端口,經過心跳通知NN |
dfs.datanode.http.address | 0.0.0.0:50075 | DN的tracker頁面監聽地址和端口 |
dfs.datanode.ipc.address | 0.0.0.0:50020 | DN的IPC監聽端口,寫0的話監聽在隨機端口經過心跳傳輸給NN |
dfs.datanode.handler.count | 3 | DN啓動的服務線程數 |
dfs.http.address | 0.0.0.0:50070 | NN的tracker頁面監聽地址和端口 |
dfs.https.enable | true | false | NN的tracker是否監聽在HTTPS協議,默認false |
dfs.datanode.https.address | 0.0.0.0:50475 | DN的HTTPS的tracker頁面監聽地址和端口 |
dfs.https.address | 0.0.0.0:50470 | NN的HTTPS的tracker頁面監聽地址和端口 |
dfs.datanode.max.xcievers | 2048 | 至關於linux下的打開文件最大數量,文檔中無此參數,當出現DataXceiver報錯的時候,須要調大。默認256 |