Hadoop 2.6.0動態添加節點

    本文主要從基礎準備，添加DataNode和添加NodeManager三個部分詳細說明在Hadoop2.6.0環境下，如何動態新增節點到集羣中。

• 基礎準備

在基礎準備部分，主要是設置hadoop運行的系統環境


• 修改系統hostname（經過hostname和/etc/sysconfig/network進行修改）

• 修改hosts文件，將集羣全部節點hosts配置進去（集羣全部節點保持hosts文件統一）

• 設置NameNode（兩臺HA均須要）到DataNode的免密碼登陸（ssh-copy-id命令實現，能夠免去cp *.pub文件後的權限修改）

• 修改主節點slave文件，添加新增節點的ip信息（集羣重啓時使用）

• 將hadoop的配置文件scp到新的節點上
  

• 添加DataNode

對於新添加的DataNode節點，須要啓動datanode進程，從而將其添加入集羣


• 在新增的節點上，運行sbin/hadoop-daemon.sh start datanode便可

• 而後在namenode經過hdfs dfsadmin -report查看集羣狀況

• 最後還須要對hdfs負載設置均衡，由於默認的數據傳輸帶寬比較低，能夠設置爲64M，即hdfs dfsadmin -setBalancerBandwidth 67108864便可

• 默認balancer的threshold爲10%，即各個節點與集羣總的存儲使用率相差不超過10%，咱們可將其設置爲5%
  

• 而後啓動Balancer，sbin/start-balancer.sh -threshold 5，等待集羣自均衡完成便可
  

• 添加Nodemanager

因爲Hadoop 2.X引入了YARN框架，因此對於每一個計算節點均可以經過NodeManager進行管理，同理啓動NodeManager進程後，便可將其加入集羣

• 在新增節點，運行sbin/yarn-daemon.sh start nodemanager便可

• 在ResourceManager，經過yarn node -list查看集羣狀況