Hadoop徹底分佈式集羣環境搭建

1. 在Apache官網下載Hadoop

下載地址：http://hadoop.apache.org/releases.html

選擇對應版本的二進制文件進行下載

 

2.解壓配置

以hadoop-2.6.5.tar.gz爲例

解壓文件

tar -zxvf hadoop-2.6.5.tar.gz

 

移動到/opt 目錄下

mv hadoop-2.6.5 /opt

 

配置JDK環境變量

追加Hadoop的bin和sbin目錄到環境變量PATH中，這裏很少講。

使用 source命令使配置當即生效

例如：source /etc/profile

 

配置四個配置文件core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml

本例共四個主機，分別是s10,s11,s12,s13

 s10：名稱結點

s十一、s12：數據結點

s13：輔助名稱結點

 

/etc/hosts  文件配置主機映射以下：

 

core-site.xml 配置

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://s10:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop-2.6.5/tmp</value>
    </property>
</configuration>

 

hdfs-site.xml 配置

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>s13:50090</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/hadoop-2.6.5/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/hadoop-2.6.5/hdfs/data</value>
    </property>
</configuration>

 

mapred-site.xml  配置

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property> 
</configuration>

 

yarn-site.xml  配置

<?xml version="1.0"?>

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>s10</value>
    </property>
</configuration>

 

修改  slaves  文件內容爲對應的數據結點

s11 s12

 

 

爲了保險，此處直接配置JAVA_HOME到 /opt/hadoop-2.6.5/etc/hadoop/hadoop-env.sh 中，防止出現JAVA_HOME is not set and could not be found.錯誤

hadoop-env.sh文件第一行有效代碼（不包含註釋）改成

export JAVA_HOME=/usr/soft/jdk1.8.0_181

 

 

3. 配置四臺主機 ssh 無密碼相互訪問，複製配置好的 /opt/hadoop-2.6.5 到其它三臺主機

 

快速配置四臺主機ssh無密碼訪問方法以下：

①在四臺主機上分別執行 ssh-keygen -t rsa 生成公鑰和私鑰

②把四臺主機的公鑰分別追加到s0主機~/.ssh/authorized_keys 文件中

③遠程複製 authorized_keys 文件到其它三臺主機

更多細節請參考：https://www.cnblogs.com/jonban/p/sshNoPasswordAccess.html

 

配置完成後使用 ssh 命令在每一臺主機上手動登陸一下其它三臺主機，完成第一次訪問的確認，之後就能夠直接登陸了

 

遠程複製配置好的 /opt/hadoop-2.6.5 到其它三臺主機，記得配置JDK環境變量和Hadoop環境變量，參考第2步

 

 

4. 格式化文件系統爲hdfs

hadoop namenode -format

運行結果以下：

 

5.  啓動Hadoop集羣環境

start-dfs.sh

start-yarn.sh

 

在四臺主機上分別輸入  jps  命令，查看集羣狀態，內容以下：

[root@s10 hadoop]# jps
28417 Jps
28163 ResourceManager
27907 NameNode

 

[root@s11 hadoop]# jps
27083 Jps
26875 DataNode
26972 NodeManager

 

[root@s12 hadoop]# jps
27095 Jps
26887 DataNode
26984 NodeManager

 

[root@s13 hadoop]# jps
26882 Jps
26826 SecondaryNameNode

 

符合集羣預期結果

s10：名稱結點

s十一、s12：數據結點

s13：輔助名稱結點

 

 

6.驗證

瀏覽器輸入地址：

http://192.168.32.110:8088

http://192.168.32.110:50070

這裏的IP是主機s10的IP

 

效果截圖以下，地址自動跳轉

 

 

 

 

 

 

 

 Hadoop徹底分佈式集羣環境搭建

.