hadoop2.7.3在centos7安裝部署(單機版)

一.centos7.0安裝jdk 

      1.下載linux版本的jdk,下載地址https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

       2. 上傳到centos下的/usr/local/src目錄下

       3.把jdk解壓到/usr/local目錄下. 

                   進入jdk所在目錄   cd /usr/local/src

                  使用命令 tar -zxvf jdk-8u172-linux-i586.tar.gz 

                  把改目錄下解壓的jdk移植到/usr/local下    mv jdk1.8.0_172/  ../

       4.配置jdk的環境命令以下 

             1.編輯etc/profile 

                vi /etc/profile

             2.添加以下內容  

                export JAVA_HOME=/usr/local/jdk1.8.0_172

                export CLASSPATH=$JAVA_HOME/lib
                export PATH=$JAVA_HOME/bin:$PATH

            3.更新etc/profile文件

                source /etc/profile

            4.輸入java 和javac驗證是否安裝成功.

 

二.Hadoop2.7.3的安裝

        0.準備工做

           0.1 修改主機名： vi /etc/hostname

           0.2 修改主機名與ip的映射

使用 vi 編輯器打開 /etc/hosts 文件
# vi /etc/hosts
在文件尾部添加內容，格式：IP地址 主機名（中間用空格分隔），保存退出
192.168.242.130 Master
設置完成後，重啓網路服務
# systemctl restart network
使用 ping 命令 ping 主機名
# ping Master

               0.3 配置ssh免密登陸

#生成ssh免密登陸的密鑰
Ssh-keygen -t rsa(四個回車)
執行完這個命令後,會生成id_rsa(私鑰) .id_rsa.pub(公鑰)將公鑰拷貝到要免密登錄的目標機器上 ssh-copy-id master

               0.4配置防火牆

         

查看防火牆狀態
firewall-cmd --state
•    1
中止firewall
systemctl stop firewalld.service
•    1
禁止firewall開機啓動
systemctl disable firewalld.service

 

        1.下載hadoop2.7.3  下載地址: https://hadoop.apache.org/releases.html

        2.把下載的hadoop上傳到centos下/usr/local/src下

        3.把上傳的hadoop進行解壓命令以下

             3.1  tar -zxvf hadoop-2.7.3.tar.gz

             3.2  mv hadoop-2.7.3 ../

        4.修改/usr/local/hadoop-2.7.3/etc/hadoop/hadoop-env.sh 文件的java環境，將java安裝路徑加進去：

           命令以下:vi /usr/local/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

          修改內容以下:

            

       5.把hadoop添加到環境變量上

           vi /etc/profile

           export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3

           export PATH=$PATH:$HADOOP_HOME/bin

           更新etc/profile文件

           source /etc/profile

      6.修改vi /usr/local/hadoop2.7.3/etc/hadoop/core-site.xml 文件，

        

<configuration>
   <property>
      <name>fs.defaultFS</name>
      <value>hdfs://localhost:9000</value>
   </property>
   <property>
       <name>hadoop.tmp.dir</name>
       <!--建立指定的目錄-->
       <value>/usr/hadoop/tmp</value>
   </property>

</configuration>

 

     7.修改vi /usr/local/hadoop2.7.3/etc/hadoop/hdfs-site.xml 

    <property>        
    <name>dfs.name.dir</name>        
    <value>/usr/hadoop/hdfs/name</value>        
    <description>namenode上存儲hdfs名字空間元數據 </description>     
    </property>     
   <property>        
    <name>dfs.data.dir</name>        
    <value>/usr/hadoop/hdfs/data</value>        
    <description>datanode上數據塊的物理存儲位置</description>    
    </property>     
     <!-- 設置hdfs副本數量 -->    
   <property>        
     <name>dfs.replication</name>        
       <value>1</value>    
    </property>

 

 

8.修改 mapred-site.xml
hadoop只有 mapred-site.xml.template沒有mapred-site.xml，須要複製一個
 mv mapred-site.xml.template   mapred-site.xml
 vi   mapred-site.xml

     

<!-- 指定mr運行在yarn上 -->
         <property>
                        <name>mapreduce.framework.name</name>
                        <value>yarn</value>
        </property>

9.修改yarn-site.xml

<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>ykq4</value>
   </property>
<!-- reducer獲取數據的方式 -->
     <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
      </property>

10.預格式化namenode

hadoop  namenode -format

11.啓動

啓動 HDFS

start-dfs.sh

啓動YARN

start-yarn.sh

驗證是否啓動成功

[root@zhiyou01 sbin]# jps
3297 NodeManager
2866 SecondaryNameNode
2596 NameNode
3017 ResourceManager
2714 DataNode
3404 Jps