hadoop集羣安裝

 

：1、安裝jdk環境（前提）

2、安裝hadoop（hadoop-2.7.7.tar.gz）

　　1. 角色分配（3節點搭建）

　　node-1　　NameNode  DataNode  ResourceManager

　　node-2　　DataNode  NodeManager   SecondaryNameNode

　　node-3　　DataNode  NodeManager

 

　　

　　在三臺服務器中配置主機名映射

 　　注意：要保證三個節點時間同步，node-1,node-2,node-3爲各個主機名，node-1爲主服務器，其他爲從服務器，可配置主服務器到從服務器之間免密登陸

　　ssh-keygen -t rsa(四個回車)　　ssh-copy-id node-2（ssh-copy-id node-3）

　　2. 上傳並解壓hadoop-2.7.7.tar.gz（本人解壓在/usr/local/java目錄下），目錄結構以下：

　　

　　bin：Hadoop最基本的管理腳本和使用腳本的目錄

　　etc：Hadoop配置文件的目錄

　　include：對外提供的編程庫頭文件（一般用於c++程序訪問HDFS或者編寫MapReduce程序）

　　lib：包含了Hadoop對外提供的編程動態庫和靜態庫，與include結合使用

　　libexec：各個服務用的shell配置文件所在目錄，可用於配置日誌輸出，啓動參數等信息

　　sbin：Hadoop管理腳本所在的目錄，主要包含HDFS和yarn中各種服務的啓動/關閉腳本

　　share：Hadoop各個模塊編譯後的jar包所在目錄

　　3. 修改配置文件

　　　　3.一、hadoop-env.sh

　　　　

　　　　修改此配置項，改成本機jdk的安裝路徑，本人爲/usr/local/java/jdk

　　　　

　　　　3.二、core-site.xml

　　　　

　　　　3.三、hdfs-site.xml

　　　　

 

　　　　3.四、mapred-site.xml

　　　　mv mapred-site.xml.template mapred-site.xml

　　　　

　　　　3.五、yarn-site.xml

　　　　

 

　　　　3.六、slaves

　　　　將該文件中的內容替換成三個節點的主機名

　　　　

　　4. 將hadoop添加到環境變量中

　　

　　5. 將配置好的hadoop文件複製到其他從節點上（本人是從node-1複製到node-2和node-3上）

　　scp -r /usr/local/java/hadoop root@node-2:/usr/local/java/

　　scp -r /usr/local/java/hadoop root@node-3:/usr/local/java/

　　每一個服務器上添加hadoop的環境變量

 3、啓動

　　首次啓動HDFS，須要在主節點（namenode）上對其進行格式化(格式化只能進行一次)　　hdfs namenode -format或者hadoop namenode -format

　　若是使用一鍵啓動，須要配置免密登陸和修改slaves文件

 4、UI界面

　　NameNode`　　訪問NameNode所在服務器的50070端口

　　ResourceManager　　訪問ResourceManager所在服務器的8088端口