Hadoop集羣安裝

1、Hadoop單節點部署

一、首先在服務器上安裝centos系統，將系統的ip配置爲靜態ip，方便hadoop集羣中主機綁定

　　

 

二、Hadoop是java服務，須要藉助JVM運行

　　本地下載jdk安裝包，在linux系統中經過rz命令上傳jdk到自定義文件夾/usr/local/apps/下，解壓jdk，而且將jdk配置到linux的環境變量中。在命令行鍵入java -version測試jdk是否安裝成功。

三、Hadoop安裝

　　在本地下載Hadoop安裝包，上傳到自定義文件夾/usr/local/apps/下，進行解壓，將hadoop的安裝路徑也配置到環境變量中。而後修改hadoop中的配置文件。主要有/usr/local/apps/hadoop-2.8.1/etc/hadoop中的如下幾個文件須要修改：

　　a、vi core-site.xml

　　　　

　　b、vi hdfs-site.xml

　　　　

　　c、首先使用mv mapred-site.xml.template mapred-site.xml將文件.template後綴去掉，而後編輯文件

　　　　

　　d、vi yarn-site.xml

　　　　

四、將centos主機名和地址在linux系統文件中進行映射。vi /etc/hosts

　　

　　注：爲了後續的集羣將centos-01和centos-02兩個主機名順帶配置進去

五、hadoop單節點配置完成，下來啓動hadoop

　　（1）格式化namenode節點

　　　　在hadoop的bin目錄下，使用命令./hadoop naenode -format進行格式化

　　（2）手動啓動hdfs服務

　　　　啓動namenode進程： sbin/hadoop-daemon.sh start namenode

　　　　啓動datanode進程：sbin/hadoop-daemon.sh start datanode

　　　　　　

　　（3）手動啓動yarn服務

　　　　啓動resourcemanager服務： sbin/yarn-daemon.sh start sourcemanager

　　　　啓動nodemanager服務：sbin/yarn-daemon.sh start nodemanager

　　　　　　

　　（4）使用hadoop中的自動化腳本進行服務的啓動

　　　　sbin/start-dfs.sh

　　　　sbin/start-yarn.sh

六、配置ssh的免密登陸

　　在登陸放生成密鑰對，使用命令： ssh-keygen

　　將公鑰拷貝到目標主機上，使用命令： ssh-copy-id 主機名

七、要想實現hadoop節點能夠在外部進行訪問，關閉防火牆

　　service iptables stop

2、Hadoop的多節點安裝和部署

一、在服務器上新建兩個主機，centos-01和centos-02，安裝好jdk（同一中）

二、將centos中的配置好的hadoop文件複製到centos-01和centos-02目錄中，使用命令: scp 文件 目標主機:文件路徑

三、在主節點中修改文件/hadoop-2.8.1/etc/hadoop/slaves文件，將從節點的主機名添加進去:

　　

四、在主節點中使用命令start-all.sh啓動全部的服務，檢查從節點是否也啓動

　　

　　

　　

五、至此三個節點的簡單hadoop集羣已經建立完畢