流式大數據計算實踐（2）----Hadoop集羣和Zookeeper

1、前言

一、上一文搭建好了Hadoop單機模式，這一文繼續搭建Hadoop集羣

2、搭建Hadoop集羣

一、根據上文的流程獲得兩臺單機模式的機器，並保證兩臺單機模式正常啓動，記得第二臺機器core-site.xml內的fs.defaultFS參數值要改爲本機的來啓動，啓動完畢後再改回來

二、清空數據，首先把運行單機模式後生成的數據所有清理掉

rm -rf /work/hadoop/nn/current rm -rf /work/hadoop/dn/current

hdfs namenode -format

三、啓動集羣

（1）storm1做爲namenode節點，因此在這臺機上面執行命令啓動namenode

$HADOOP_PREFIX/sbin/hadoop-daemon.sh --script hdfs start namenode

（2）storm2做爲datanode節點，因此在這臺機上面執行命令啓動datanode

$HADOOP_PREFIX/sbin/hadoop-daemon.sh --script hdfs start datanode

（3）經過jps命令能夠看到對應的節點，而後經過50070的控制檯能夠看到storm2的datanode節點

3、ZooKeeper

一、Zookeeper是分佈式框架常常要用到的應用協調服務，至關於讓分佈式內的每一個組件同步起來

二、Zookeeper安裝

（1）下載Zookeeper的tar.gz包，並解壓

（2）配置環境變量

vim /etc/profile #set zookeeper env export ZOOKEEPER_HOME=/work/soft/zookeeper-3.4.13 export PATH=$PATH:$ZOOKEEPER_HOME/bin source /etc/profile

（3）配置ZooKeeper

①進入到Zookeeper目錄的conf文件夾，能夠看到裏面有一個配置文件的模板zoo_sample.cfg，將模板複製一份到zoo.cfg

②而後編輯內容，只須要修改Zookeeper的存放數據的目錄（記得建立對應文件夾）

vim /work/soft/zookeeper-3.4.13/conf/zoo.cfg dataDir=/work/zookeeper/data

③繼續編輯bin目錄下的zkEnv.sh文件來修改Zookeeper存放日誌的目錄（記得建立對應文件夾）

vim /work/soft/zookeeper-3.4.13/bin/zkEnv.sh ZOO_LOG_DIR=/work/zookeeper/logs

④進入到剛剛設定的數據目錄，建立一個文件myid，並寫入本臺機器的Zookeeper Id，這個id的取值範圍是1-255，我這裏取得分別是1和2

vim /work/zookeeper/data/myid 1

（4）啓動單機版Zookeeper

①首先啓動Zookeeper

$ZOOKEEPER_HOME/bin/zkServer.sh start

②進入到Zookeeper的控制檯查看數據目錄是否正常

$ZOOKEEPER_HOME/bin/zkCli.sh

ls /

（5）啓動集羣版Zookeeper

①先中止單機版

$ZOOKEEPER_HOME/bin/zkServer.sh stop

②把剛剛單機版產生的數據刪除，執行刪除目錄時，必定要當心不要輸錯，還有記得再把剛纔的myid文件建立出來- -

rm -rf /work/zookeeper/data/* rm -rf /work/zookeeper/logs/*

③進入Zookeeper的conf目錄，編輯zoo.cfg，在文件末尾配置Zookeeper集羣的節點信息

vim /work/soft/zookeeper-3.4.13/conf/zoo.cfg server.1=storm1:2888:3888 server.2=storm2:2888:3888

④在每臺機器啓動Zookeeper，而後經過jps命令查看進程是否存在

$ZOOKEEPER_HOME/bin/zkServer.sh start jps

⑤使用查看集羣狀態命令，在每臺機器執行，能夠發現一臺是leader，另外一臺是follower，說明集羣是OK的

$ZOOKEEPER_HOME/bin/zkServer.sh status