基於centos6.5 hadoop 集羣搭建

1.修改Linux主機名
2.修改IP
3.修改主機名和IP的映射關係
######注意######若是大家公司是租用的服務器或是使用的雲主機（如華爲用主機、阿里雲主機等）
/etc/hosts裏面要配置的是內網IP地址和主機名的映射關係
4.關閉防火牆
5.ssh免登錄
6.安裝JDK，配置環境變量等

具體修改方式可參加個人另一篇文章「基於centos6.5 hadoop 僞分佈式安裝」、「centos 6.5 配置ssh免登陸」

集羣規劃：
主機名 IP 安裝的軟件 運行的進程
hadoop1 192.168.100.101 jdk、hadoop NameNode、DFSZKFailoverController
hadoop2 192.168.100.102 jdk、hadoop NameNode、DFSZKFailoverController
hadoop3 192.168.100.103 jdk、hadoop ResourceManager
hadoop4 192.168.100.104 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
hadoop5 192.168.100.105 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
hadoop6 192.168.100.106 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain

 

安裝步驟：
1.安裝配置zooekeeper集羣
1.1解壓
tar -zxvf zookeeper-3.4.5.tar.gz -C /usr/hadoop/
1.2修改配置
cd /usr/hadoop/zookeeper-3.4.5/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
修改：dataDir=/usr/hadoop/zookeeper-3.4.5/tmp
在最後添加：
server.1=hadoop4:2888:3888
server.2=hadoop5:2888:3888
server.3=hadoop6:2888:3888
保存退出
而後建立一個tmp文件夾
mkdir /usr/hadoop/zookeeper-3.4.5/tmp
再建立一個空文件
touch /usr/hadoop/zookeeper-3.4.5/tmp/myid
最後向該文件寫入ID
echo 1 > /usr/hadoop/zookeeper-3.4.5/tmp/myid
1.3將配置好的zookeeper拷貝到其餘節點(首先分別在hadoop五、hadoop6根目錄下建立一個itcast目錄：mkdir /itcast)
scp -r /usr/hadoop/zookeeper-3.4.5/ hadoop5:/usr/hadoop/
scp -r /usr/hadoop/zookeeper-3.4.5/ hadoop6:/usr/hadoop/

注意：修改hadoop五、hadoop6對應/usr/hadoop/zookeeper-3.4.5/tmp/myid內容
hadoop5：
echo 2 > /usr/hadoop/zookeeper-3.4.5/tmp/myid
hadoop6：
echo 3 > /usr/hadoop/zookeeper-3.4.5/tmp/myid

 

2.安裝配置hadoop集羣
2.1解壓
tar -zxvf hadoop-2.2.0.tar.gz -C /usr/hadoop/
2.2配置HDFS（hadoop2.0全部的配置文件都在$HADOOP_HOME/etc/hadoop目錄下）
#將hadoop添加到環境變量中
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_55
export HADOOP_HOME=/usr/hadoop/hadoop-2.2.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

#hadoop2.0的配置文件所有在$HADOOP_HOME/etc/hadoop下
cd /usr/hadoop/hadoop-2.2.0/etc/hadoop

2.2.1修改hadoo-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_55

2.2.2修改core-site.xml
<configuration>
<!-- 指定hdfs的nameservice爲ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1</value>
</property>
<!-- 指定hadoop臨時目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/hadoop-2.2.0/tmp</value>
</property>
<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop4:2181,hadoop5:2181,hadoop6:2181</value>
</property>
</configuration>

2.2.3修改hdfs-site.xml
<configuration>
<!--指定hdfs的nameservice爲ns1，須要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<!-- ns1下面有兩個NameNode，分別是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通訊地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>hadoop1:9000</value>
</property>
<!-- nn1的http通訊地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>hadoop1:50070</value>
</property>
<!-- nn2的RPC通訊地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>hadoop2:9000</value>
</property>
<!-- nn2的http通訊地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>hadoop2:50070</value>
</property>
<!-- 指定NameNode的元數據在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop4:8485;hadoop5:8485;hadoop6:8485/ns1</value>
</property>
<!-- 指定JournalNode在本地磁盤存放數據的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/usr/hadoop/hadoop-2.2.0/journal</value>
</property>
<!-- 開啓NameNode失敗自動切換 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失敗自動切換實現方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔離機制方法，多個機制用換行分割，即每一個機制暫用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用sshfence隔離機制時須要ssh免登錄 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔離機制超時時間 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>

2.2.4修改mapred-site.xml
<configuration>
<!-- 指定mr框架爲yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

2.2.5修改yarn-site.xml
<configuration>
<!-- 指定resourcemanager地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop3</value>
</property>
<!-- 指定nodemanager啓動時加載server的方式爲shuffle server -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>


2.2.6修改slaves(slaves是指定子節點的位置，由於要在hadoop1上啓動HDFS、在hadoop3啓動yarn，
因此hadoop1上的slaves文件指定的是datanode的位置，hadoop3上的slaves文件指定的是nodemanager的位置)
hadoop4
hadoop5
hadoop6

2.2.7配置免密碼登錄
#首先要配置hadoop1到hadoop二、hadoop三、hadoop四、hadoop五、hadoop6的免密碼登錄
#在hadoop1上生產一對鑰匙
ssh-keygen -t rsa
#將公鑰拷貝到其餘節點，包括本身
ssh-coyp-id hadoop1
ssh-coyp-id hadoop2
ssh-coyp-id hadoop3
ssh-coyp-id hadoop4
ssh-coyp-id hadoop5
ssh-coyp-id hadoop6

#配置hadoop3到hadoop四、hadoop五、hadoop6的免密碼登錄
#在hadoop3上生產一對鑰匙
ssh-keygen -t rsa
#將公鑰拷貝到其餘節點
ssh-coyp-id hadoop4
ssh-coyp-id hadoop5
ssh-coyp-id hadoop6

#注意：兩個namenode之間要配置ssh免密碼登錄，別忘了配置hadoop2到hadoop1的免登錄
在hadoop2上生產一對鑰匙
ssh-keygen -t rsa
ssh-coyp-id -i hadoop1

2.4將配置好的hadoop拷貝到其餘節點
scp -r /usr/hadoop/ hadoop2:/
scp -r /usr/hadoop/ hadoop3:/
scp -r /usr/hadoop/hadoop-2.2.0/ root@hadoop4:/usr/hadoop/
scp -r /usr/hadoop/hadoop-2.2.0/ root@hadoop5:/usr/hadoop/
scp -r /usr/hadoop/hadoop-2.2.0/ root@hadoop6:/usr/hadoop/

###注意：嚴格按照下面的步驟
2.5啓動zookeeper集羣（分別在hadoop四、hadoop五、hadoop6上啓動zk）
cd /usr/hadoop/zookeeper-3.4.5/bin/
./zkServer.sh start
#查看狀態：一個leader，兩個follower
./zkServer.sh status

2.6啓動journalnode（在hadoop1上啓動全部journalnode，注意：是調用的hadoop-daemons.sh這個腳本，注意是複數s的那個腳本）
cd /usr/hadoop/hadoop-2.2.0
sbin/hadoop-daemons.sh start journalnode
#運行jps命令檢驗，hadoop四、hadoop五、hadoop6上多了JournalNode進程

2.7格式化HDFS
#在hadoop1上執行命令:
hdfs namenode -format
#格式化後會在根據core-site.xml中的hadoop.tmp.dir配置生成個文件，這裏我配置的是/usr/hadoop/hadoop-2.2.0/tmp，而後將/usr/hadoop/hadoop-2.2.0/tmp拷貝到hadoop2的/usr/hadoop/hadoop-2.2.0/下。
scp -r tmp/ hadoop2:/usr/hadoop/hadoop-2.2.0/

2.8格式化ZK(在hadoop1上執行便可)
hdfs zkfc -formatZK

2.9啓動HDFS(在hadoop1上執行)
sbin/start-dfs.sh

2.10啓動YARN(#####注意#####：是在hadoop3上執行start-yarn.sh，把namenode和resourcemanager分開是由於性能問題，由於他們都要佔用大量資源，因此把他們分開了，他們分開了就要分別在不一樣的機器上啓動)
sbin/start-yarn.sh

到此，hadoop2.2.0配置完畢，能夠統計瀏覽器訪問:
http://192.168.100.101:50070
NameNode 'hadoop1:9000' (active)
http://192.168.100.102:50070
NameNode 'hadoop2:9000' (standby)

驗證HDFS HA
首先向hdfs上傳一個文件
hadoop fs -put /etc/profile /profile
hadoop fs -ls /
而後再kill掉active的NameNode
kill -9 <pid of NN>
經過瀏覽器訪問：http://192.168.100.102:50070
NameNode 'hadoop2:9000' (active)
這個時候hadoop2上的NameNode變成了active
在執行命令：
hadoop fs -ls /
-rw-r--r-- 3 root supergroup 1926 2014-02-06 15:36 /profile
剛纔上傳的文件依然存在！！！
手動啓動那個掛掉的NameNode
sbin/hadoop-daemon.sh start namenode
經過瀏覽器訪問：http://192.168.100.101:50070
NameNode 'hadoop1:9000' (standby)

驗證YARN：
運行一下hadoop提供的demo中的WordCount程序：
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /profile /out