Hadoop之徹底分佈式集羣

集羣環境：

1. centOs6.8：hadoop102，hadoop103，hadoop104
2. jdk版本：jdk1.8.0_144
3. hadoop版本：Hadoop 2.7.2

首先準備三臺客戶機（hadoop102，hadoop103，hadoop104），關閉防火牆，修改成靜態ip和ip地址映射

配置集羣

編寫集羣分發腳本

1. 建立一個遠程同步的腳本xsync，並放到當前用戶下新建的bin目錄下，配置到PATH中，使得此腳本在任何目錄下均可以執行
2. 腳本實現

[kocdaniel@hadoop102 ~]$ mkdir bin
[kocdaniel@hadoop102 ~]$ cd bin/
[kocdaniel@hadoop102 bin]$ vim xsync
複製代碼

在文件中編寫以下腳本代碼

#!/bin/bash
#1 獲取輸入參數個數，若是沒有參數，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi
 #2 獲取文件名稱
p1=$1
fname=`basename $p1`
echo fname=$fname
 #3 獲取上級目錄到絕對路徑 –P指向實際物理地址，防止軟鏈接
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
 #4 獲取當前用戶名稱
user=`whoami`
 #5 循環
for((host=103; host<105; host++)); do
        echo ------------------- hadoop$host --------------
        rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done
複製代碼

3. 修改腳本xsync具備執行權限，並調用腳本，將腳本複製到103和104節點

[kocdaniel@hadoop102 bin]$ chmod 777 xsync
[kocdaniel@hadoop102 bin]$ xsync /home/atguigu/bin
複製代碼

集羣配置

1. 集羣部署規劃

	hadoop102	hadoop103	hadoop104
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

因爲計算機配置有限，只能使用三臺虛擬機，工做環境中根據須要規劃集羣

2. 配置集羣

切換到hadoop安裝目錄/etc/hadoop/

• 配置core-site.xml

[kocdaniel@hadoop102 hadoop]$ vim core-site.xml
# 在文件中寫入以下內容
<!-- 指定HDFS中NameNode的地址 -->
<property>
	<name>fs.defaultFS</name>
      <value>hdfs://hadoop102:9000</value>
</property>

<!-- 指定Hadoop運行時產生文件的存儲目錄 -->
<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
複製代碼

• HDFS配置文件

  • 配置hadoop-env.sh

  [kocdaniel@hadoop102 hadoop]$ vim hadoop-env.sh
  export JAVA_HOME=/opt/module/jdk1.8.0_144
  複製代碼

  **注意：**咱們已經在/etc/profile文件中配置了JAVA_HOME，這裏爲何還須要配置JAVA_HOME?

  答：由於Hadoop運行是守護進程（守護進程是一個在後臺運行而且不受任何終端控制的進程。--摘自百度百科），正是由於它後臺運行，不接受任何終端控制，因此它讀取不到咱們配置好的環境變量，因此這裏須要單獨配置一下。

  • 配置hdfs-site.xml

  [kocdaniel@hadoop102 hadoop]$ vim hdfs-site.xml
  # 寫入以下配置
  <!-- 配置副本數量爲3，默認也爲3，因此這個也能夠刪掉 -->
  <property>
  		<name>dfs.replication</name>
  		<value>3</value>
  </property>
  
  <!-- 指定Hadoop輔助名稱節點主機配置 -->
  <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:50090</value>
  </property>
  複製代碼

• YARN配置文件

  • 配置yarn-env.sh

  [kocdaniel@hadoop102 hadoop]$ vim yarn-env.sh
  export JAVA_HOME=/opt/module/jdk1.8.0_144
  複製代碼

  • 配置yarn-site.xml

  [kocdaniel@hadoop102 hadoop]$ vi yarn-site.xml
  # 增長以下配置
  <!-- Reducer獲取數據的方式 -->
  <property>
  		<name>yarn.nodemanager.aux-services</name>
  		<value>mapreduce_shuffle</value>
  </property>
  
  <!-- 指定YARN的ResourceManager的地址 -->
  <property>
  		<name>yarn.resourcemanager.hostname</name>
  		<value>hadoop103</value>
  </property>
  複製代碼

• MapReduce配置文件

  • 配置mapred-env.sh

  [kocdaniel@hadoop102 hadoop]$ vim mapred-env.sh
  export JAVA_HOME=/opt/module/jdk1.8.0_144
  
  複製代碼

  • 配置mapred-site.xml

  # 若是是第一次配置的話，須要先將mapred-site.xml.template重命名爲mapred-site.xml
  [kocdaniel@hadoop102 hadoop]$ cp mapred-site.xml.template mapred-site.xml
  [kocdaniel@hadoop102 hadoop]$ vim mapred-site.xml
  # 在文件中增長以下配置
  <!-- 指定MR運行在Yarn上 -->
  <property>
  		<name>mapreduce.framework.name</name>
  		<value>yarn</value>
  </property>
  
  複製代碼

3. 將配置好的文件利用集羣分發腳本同步到hadoop103和hadoop104節點

[kocdaniel@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/

複製代碼

• 最好在同步完成以後檢查一下同步結果，避免錯誤

單點啓動

1. 若是是第一次啓動，須要格式化namenode，不然跳過此步

[kocdaniel@hadoop102 hadoop-2.7.2]$ hadoop namenode -format

複製代碼

• 格式化須要注意的問題：
  • 只有第一次啓動須要格式化，之後不要老是格式化，不然會出現namenode和datanode的集羣id不一致的狀況，致使datanode啓動失敗
  • 正確的格式化姿式：
    • 在執行第一次格式化時會在hadoop安裝目錄下產生data文件夾，裏面會生成namenode的信息
    • 在啓動namenode和datanode後，還會在一樣的目錄下產生logs的日誌文件夾
    • 因此在格式化以前須要先將這兩個文件夾刪除，而後再格式化，最後啓動namenode和datanode

2. 在hadoop102上啓動namenode

[kocdaniel@hadoop102 hadoop-2.7.2]$ hadoop-daemon.sh start namenode
[kocdaniel@hadoop102 hadoop-2.7.2]$ jps
3461 NameNode

複製代碼

3. 在hadoop10二、hadoop103以及hadoop104上分別啓動DataNode

[kocdaniel@hadoop102 hadoop-2.7.2]$ hadoop-daemon.sh start datanode
[kocdaniel@hadoop102 hadoop-2.7.2]$ jps
3461 NameNode
3608 Jps
3561 DataNode
[kocdaniel@hadoop103 hadoop-2.7.2]$ hadoop-daemon.sh start datanode
[kocdaniel@hadoop103 hadoop-2.7.2]$ jps
3190 DataNode
3279 Jps
[kocdaniel@hadoop104 hadoop-2.7.2]$ hadoop-daemon.sh start datanode
[kocdaniel@hadoop104 hadoop-2.7.2]$ jps
3237 Jps
3163 DataNode

複製代碼

4. 訪問hadoop102:50070查看結果

• 可是以上單點啓動有一個問題：
  • 每次都一個一個節點啓動，若是節點數增長到1000個怎麼辦？

配置ssh免密登陸

1. 配置ssh

   • ssh 另外一個節點的ip 就能夠切換到另外一臺機器，可是得輸入密碼

2. 免密ssh配置

   • 免密登陸原理

• 在配置namenode的主機hadoop102上生成私鑰和公鑰

  • 切換目錄到/home/用戶名/.ssh/

  [kocdaniel@hadoop102 .ssh]$ ssh-keygen -t rsa
  
  複製代碼

  • 而後敲（三個回車），就會生成兩個文件id_rsa（私鑰）、id_rsa.pub（公鑰）
  • 將公鑰拷貝到要免密登陸的目標機器上

  [kocdaniel@hadoop102 .ssh]$ ssh-copy-id hadoop103
  [kocdaniel@hadoop102 .ssh]$ ssh-copy-id hadoop104
  # 注意：ssh訪問本身也須要輸入密碼，因此咱們須要將公鑰也拷貝給102
  [kocdaniel@hadoop102 .ssh]$ ssh-copy-id hadoop102
  
  複製代碼

• 一樣，在配置resourcemanager的主機hadoop103上執行一樣的操做，而後就能夠羣起集羣了

羣起集羣

1. 配置slaves

   • 切換目錄到：hadoop安裝目錄/etc/hadoop/
   • 在目錄下的slaves文件中添加以下內容

   [kocdaniel@hadoop102 hadoop]$ vim slaves
   # 注意結尾不能有空格，文件中不能有空行
   hadoop102
   hadoop103
   hadoop104
   
   複製代碼

   • 同步全部節點的配置文件

   [kocdaniel@hadoop102 hadoop]$ xsync slaves
   
   複製代碼

2. 啓動集羣

   • 一樣，若是是第一次啓動，須要格式化
   • 啓動HDFS

   [kocdaniel@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh
    # 查看啓動結果，和集羣規劃（配置文件中）的一致
   [atguigu@hadoop102 hadoop-2.7.2]$ jps
   4166 NameNode
   4482 Jps
   4263 DataNode
   
   [atguigu@hadoop103 hadoop-2.7.2]$ jps
   3218 DataNode
   3288 Jps
   
   [atguigu@hadoop104 hadoop-2.7.2]$ jps
   3221 DataNode
   3283 SecondaryNameNode
   3364 Jps
   
   複製代碼

   • 啓動YARN

   # 注意：NameNode和ResourceManger若是不是同一臺機器，不能在NameNode上啓動 YARN，應該在ResouceManager所在的機器上啓動YARN
   [kocdaniel@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh
   
   複製代碼

3. web端查看相關信息