Hadoop學習---Hadoop集羣搭建

1、安裝環境及軟件版本

 

　　一、操做系統centos 6.7 64位

　　二、配置好服務器的免密碼登錄（ssh）

　　三、安裝好jdk,我安裝的是jdk-7u80-linux-x64.tar.gz。

　　四、Hadoop集羣角色分配：

　　　　HDFS集羣:　　

　　　　hdp01 ： DataNode　　NameNode　　SecondaryNameNode

　　　　hdp02 ： DataNode 

　　　　hdp03 ： DataNode 

　　　　YRAN集羣:

　　　　hdp01  :  NodeManager　　ResourceManager 

　　　　hdp02  :  NodeManager

　　　　hdp03  :  NodeManager

 

2、集羣安裝過程

 

　　第一步：建立安裝目錄，上傳安裝包，解壓安裝包，解壓好的Hadoop目錄以下：

        

　　

　　第二步：修改配置文件

 

　　一、修改$HADOOP_HOME/etc/hadoop/下的hadoop-env.sh，添加Java環境變量。

# The java implementation to use.
export JAVA_HOME=/usr/local/jdk1.7.0_45

　　 二、目錄同下，core-site.xml，配置內容以下：

<configuration>

  <property>
     <name>fs.defaultFS</name>
     <value>hdfs://hdp01:9000</value>
</property>

  <property>
     <name>hadoop.tmp.dir</name>
     <value>/root/apps/hadoop-2.6.5/tmp</value>
</property>

</configuration>

　　三、目錄同下，hdfs-site.xml，配置內容以下：

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/data/name/</value>
    </property>

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop/data/data/</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.secondary.http.address</name>
        <value>hdp01:50090</value>
    </property>
</configuration>

　　四、目錄同下，mapred-site.xml，配置內容以下：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

　　五、目錄同下，yarn-site.xml，配置內容以下：

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hdp01</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

</configuration>

　　六、目錄同下，salves，配置內容以下：

hdp01
hdp02
hdp03
                                                                                                                                                                         

 

　　第三步：將配置好的Hadoop分發到其餘2臺服務器。

scp hadoop-2.6.5 -r root@hdp02:/root/apps/
scp hadoop-2.6.5 -r root@hdp03:/root/apps/

 

　　第四步、啓動集羣，測試集羣是否部署

　　一、初始化HDFS

bin/hadoop namenode -format

　　二、啓動HDFS

sbin/start-dfs.sh

　　三、啓動YARN

sbin/start-yarn.sh

　　四、查看是否啓動成功，jps命令顯示，進程都啓動成功了