hadoop 僞分佈配置

配置 Hadoop 僞分佈式

任務配置說明:

• 1. VMware 15

  2. Centos 6.5

  3. java -jdk 1.8

  4. hadoop-2.6.0-cdh5.14.0.tar.gz

第一步

自行安裝虛擬機

第二步 開始大配置

1. 修改主機名和用戶名

   •  vim /etc/sysconfig/network  --(將HOSTNAME=) 改成master(主機的意思)

   •  vim /etc/hosts  --(增長一行內容 ip    master)

2. 配置靜態ip

   •  vim /etc/sysconfig/network-scripts/ifcfg-eth0

     • 修改內容以下:

        DEVICE=eth0 (網卡名稱)
        HWADDR=00:0C:29:63:C3:47
        TYPE=Ethernet
        UUID=7cce5090-6637-40fc-a47e-9f5e2d561b46
        ONBOOT=yes (必須設置 設置啓動)
        NM_CONTROLLED=yes
        BOOTPROTO=static (靜態)
        IPADDR=192.168.65.21  --(你的ip)
        NETMASK=255.255.255.0 --(子網掩碼)
        GATEWAY=192.168.65.1  --(網關)
        DNS1=114.114.114.114  --(DNS)

3. 配置SSH無密碼鏈接

   • 關閉防火牆

     •  service iptables stop  --(僅一次性關閉防火牆  再次開機防火牆就從新開啓了)

     •  chkconfig iptables off  --(永久關閉防火牆  防止重啓防火牆自啓動)

   • 配置 SSH

     • 安裝 ssh

       •  yum install ssh

     • 安裝 rsync

       •  yum install rsync

   • 啓動 SSH 服務命令

     •  service sshd restart

     • 檢查 ssh 是否已經安裝成功 能夠執行 rpm -qa | grep openssh

     • 出現

       •  [hadoop@master ~]$  rpm -qa | grep openssh
          openssh-server-5.3p1-94.el6.x86_64
          openssh-clients-5.3p1-94.el6.x86_64
          openssh-5.3p1-94.el6.x86_64
          openssh-askpass-5.3p1-94.el6.x86_64

       • 表明成功

     • 檢查 rsync 是否安裝成功 可執行 rpm -qa | grep rsync

       • 出現

         •  [hadoop@master ~]$ rpm -qa | grep rsync
            rsync-3.0.6-12.el6.x86_64

         • 表明成功

   • 生成 SSH 公鑰 (只能夠生成當前執行用戶的祕鑰)

     •  ssh-keygen -t rsa  --(連續回車便可)  

     •  ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop(用戶名)@master(主機名)

     • 驗證 ssh master

    

   4.配置 java 環境

   • 安裝 Java jdk

     • 卸載初始系統存在的jdk

       • 檢查 是否安裝了jdk

       •  rpm -qa | grep jdk

         • 若是出現了返回值 那麼使用 yum -y remove xxx(將返回值輸入便可)

     • 安裝 JDK (須要實現上傳)

       •  tar -zxvf jdk-8u221-linux-x64.tar.gz  --(解壓壓縮包)

       • 修改環境配置文件

         • vim /etc/profile

           • 文件末尾添加

             • #java --(註釋表明java)

                export JAVA_HOME=/home/hadoop/app/jdk1.8.0_221 --(你java安裝目錄)
                export PATH=$PATH:$JAVA_HOME/bin

         • 讓配置文件修改後生效

           •  source /etc/profile

     • 驗證 java是否安裝成功 --(輸入java命令便可)

       •  [hadoop@master jdk1.8.0_221]$ java

       • 如若返回一大頁東西則安裝成功 java -version能夠查看當前java版本信息

   5.配置 hadoop 環境

   • 老樣子 先解壓

     •   tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz

   • 修改配置文件信息

     • 進入 hadoop 配置文件目錄 cd /home/hadoop/app/hadoop-2.6.0-cdh5.14.0/etc/hadoop/

     • 修改 hadoop-env.sh 文件 末尾追加如下內容

       •  export JAVA_HOME=/home/hadoop/app/jdk1.8.0_221

       •  export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.14.0

     • 修改 core-site.xml 文件

        <configuration>
                <property>
                        <name>fs.default.name</name>
                        <value>hdfs://master:9000</value>
                </property>
        </configuration>

     • 修改 hdfs-site.xml

        <configuration>
                <property>
                        <name>dfs.replication</name>
                        <value>3</value>
                </property>
                <property>
                        <name>dfs.name.dir</name>
                        <value>/home/hadoop/app/hadoop-2.6.0-cdh5.14.0/hdfs/name</value>
                </property>
                <property>
                        <name>dfs.data.dir</name>
                        <value>/home/hadoop/app/hadoop-2.6.0-cdh5.14.0/hdfs/data</value>
                </property>
        </configuration>

     • 修改 mapred-site.xml

       • 能夠看到咱們目錄中沒有mapred-site.xml 咱們能夠經過模板拷貝出來一個

         •  cp mapred-site.xml.template mapred-site.xml

         •  vim mapred-site.xml

       • 添加以下內容

          <configuration>
                  <property>
                          <name>mapreduce.framework.name</name>
                          <value>yarn</value>
                  </property>
          </configuration>

     • 修改 yarn-site.xml

        <configuration>
        ​
        <!-- Site specific YARN configuration properties -->
                <property>
                        <name>yarn.resourcemanager.address</name>
                        <value>master:8080</value>
                </property>
                <property>
                        <name>yarn.resourcemanager.resource-tracker.address</name>
                        <value>master:8082</value>
                </property>
                <property>
                        <name>yarn.nodemanager.aux-services</name>
                        <value>mapreduce_shuffle</value>
                </property>
                <property>
                        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
                </property>
        </configuration>

     • 修改 slaves

        master

   • 至此,Hadoop 安裝配置工做所有完成,爲了能在任何路徑下使用 Hadoop 命令,還須要配置環境變量

     • 對 /etc/profile 追加以下信息

        export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.14.0
        export PATH=$PATH:$HADOOP_HOME/bin

     • 對 環境配置文件生效

        [hadoop@master hadoop]$ source /etc/profile

   • 在第一次啓動 Hadoop 以前,必須對 HDFS 格式化,執行命令

      [hadoop@master hadoop]$ hadoop namenode -format

第三步

• 啓動 Hadoop

  • 格式化 Hadoop 完成後,即可以啓動 hadoop ,不過首先咱們賦予腳本可執行權限

     [hadoop@master hadoop]$ chmod +x -R /home/hadoop/app/hadoop-2.6.0-cdh5.14.0/sbin

  • 而後就能夠啓動集羣了 執行啓動腳本 --(進入hadoop的sbin腳本目錄)

     [hadoop@master sbin]$ cd /home/hadoop/app/hadoop-2.6.0-cdh5.14.0/sbin

  • 執行腳本

     [hadoop@master sbin]$ bash start-all.sh

  • 最後檢查要啓動的節點是否正常啓動

     [hadoop@master sbin]$ jps
     9025 DataNode
     9185 SecondaryNameNode
     8899 NameNode
     9335 ResourceManager
     9432 NodeManager
     9644 Jps

  • 至此 一切完成

第四步

• 咱們能夠打開瀏覽器查看咱們的HDFS

  • 若是 linux 有瀏覽器能夠經過瀏覽器地址輸入

     master:50070   --(便可訪問)

  • 若是 想在windows訪問 打開瀏覽器

     linuxip:50070
     例如個人:192.168.65.21:50070

• 大功告成了