hadoop2配置文件詳解

在hadoop1中核心組成部分是HDFS、MapReduce，到了Hadoop2，核心變爲HDFS、Yarn，並且新的HDFS中能夠有多個NameNode，每一個都有相同的職能。

如下內容是從http://www.superwu.cn/2014/02/12/1094/閱讀後本身總結了一下：

配置文件無非就這幾個文件：

一、hadoop-env.sh：

只需設置jdk的安裝路徑，如：export JAVA_HOME=/usr/local/jdk

二、core-site.xml：

(1)fs.defaultFS:hdfs://cluster1(域名)，這裏的值指的是默認的HDFS路徑

(2)hadoop.tmp.dir:/export/data/hadoop_tmp,這裏的路徑默認是NameNode、DataNode、JournalNode等存放數據的公共目錄。用戶也能夠本身單獨指定這三類節點的目錄。

(3)ha.zookeeper.quorum:hadoop101:2181,hadoop102:2181,hadoop103:2181,這裏是ZooKeeper集羣的地址和端口。注意，數量必定是奇數，且很多於三個節點

(4)hadoop.proxyuser.erpmerge.hosts、hadoop.proxyuser.erpmerge.groups主要用來設置oozie的代理用戶

三、hdfs-site.xml：

(1)dfs.replication:指定DataNode存儲block的副本數量,不大於DataNode的個數就行

(2)dfs.nameservices：cluster1,cluster2，使用federation(HDFS聯盟)時，若是使用了2個HDFS集羣。這裏抽象出兩個NameService實際上就是給這2個HDFS集羣起了個別名。名字能夠隨便起，相互不重複便可

(3)dfs.ha.namenodes.cluster1:hadoop101,hadoop102，指定NameService是cluster1時的namenode有哪些，這裏的值也是邏輯名稱，名字隨便起，相互不重複便可

(4)dfs.namenode.rpc-address.cluster1.hadoop101:hadoop101:8020，指定hadoop101的RPC地址

(5)dfs.namenode.http-address.cluster1.hadoop101:hadoop101:50070,指定hadoop101的http地址

hadoop102設置同(4)、(5)

(6)dfs.namenode.shared.edits.dir:qjournal://hadoop101:8485;hadoop102:8485;hadoop103:8485/cluster1,指定cluster1的兩個NameNode共享edits文件目錄時，使用的JournalNode集羣信息

(7)dfs.ha.automatic-failover.enabled.cluster1:true,指定cluster1是否啓動自動故障恢復，即當NameNode出故障時，是否自動切換到另外一臺NameNode

(8)dfs.client.failover.proxy.provider.cluster1:org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider,指定cluster1出故障時，哪一個實現類負責執行故障切換

若是有cluster2集羣，則設置如上

(9)dfs.journalnode.edits.dir:【指定JournalNode集羣在對NameNode的目錄進行共享時，本身存儲數據的磁盤路徑】

(10)dfs.ha.fencing.methods:sshfence,【一旦須要NameNode切換，使用ssh方式進行操做】

(11)dfs.ha.fencing.ssh.private-key-files:/root/.ssh/id_rsa,【若是使用ssh進行故障切換，使用ssh通訊時用的密鑰存儲的位置】

四、mapred-site.xml:

(1)mapreduce.framework.name:yarn【指定運行mapreduce的環境是yarn，與hadoop1大相徑庭的地方】

(2)mapreduce.jobhistory.address:hadoop1:10020

(3)mapreduce.jobhistory.webapp.address:hadoop1:19888

(4)mapreduce.map.output.compress:false

(5)mapreduce.map.output.compress.codec:org.apache.hadoop.io.compress.GzipCodec

(6)yarn.app.mapreduce.am.staging-dir:/user

五、yarn-site.xml:

(1)yarn.resourcemanager.hostname:【自定ResourceManager的地址，仍是單點，這是隱患】

(2)yarn.nodemanager.aux-services:mapreduce_shuffle

(3)yarn.nodemanager.aux-services.mapreduce.shuffle.class:org.apache.hadoop.mapred.ShuffleHandler

(4)yarn.resourcemanager.address:hadoop1:8032

(5)....

六、slaves文件：

【指定全部的DataNode節點列表，每行一個節點名稱】