hadoop-僞分佈環境搭建

軟件要求

1. centos6.8
2. jdk1.7
3. hadoop2.6

centos環境配置

1. 關閉防火牆

   service iptables status #查看防火牆狀態
   	service iptables stop #關閉防火牆
   	chkconfig --list|grep iptables #查看防火牆關閉狀態
   	chkconfig iptables off #關閉防火牆，開機不啓動

2. 主機靜態ip

   vi /etc/sysconfig/network-scripts/ifcfg-eth0  #修改網絡配置文件
    修改以下:
    DEVICE=eth0
    HWADDR=00:0C:29:A7:1D:F7
    TYPE=Ethernet
    UUID=c2111e23-ab5c-4825-87b3-17eb92b0c821
    ONBOOT=yes
    IPADDR=192.168.31.188
    NETMASK=255.255.255.0
    GATEWAY=192.168.31.1
    DNS1=192.168.31.1
    NM_CONTROLLED=yes
    BOOTPROTO=static

3. 修改主機名

   vi /etc/sysconfig/network
    #修改以下
    HOSTNAME=hadoop2
    #保存退出
    hostname

4. 設置主機ssh無密碼登陸

   ssh-keygen -t rsa  #生成ssh密鑰(一直回車)
    ssh-copy-id -i hadoop2 #生成公鑰

5. jdk環境變量配置

   tar xzvf jdk-7u79-linux-x64.tar.gz
    vi /etc/profile #打開全局環境變量
    #尾部添加jdk環境變量
    export JAVA_HOME=/usr/local/soft/install/jdk1.7.0_79
    export PATH=.:$JAVA_HOME/bin:$PATH

HDFS 配置

1. 解壓hadoop文件夾

   tar xzvf hadoop-2.6.0.tar.gz

2. hadoop目錄結構

   • bin 框架自己的命令

   • sbin 集羣所須要的命令

   • etc/hadoop 配置文件

   • lib/native 類庫

   • share/hadoop jar包

3. hadoop配置文件修改(已上傳網盤，直接覆蓋便可http://pan.baidu.com/s/1i4H0Hs5)

   • vi etc/core-site.xml

     • 修改主機名

     • 修改hadoop安裝地址

   • vi etc/hadoop-env.sh

     • 修改jdk路徑地址

   • vi etc/hdfs-site.xml

   • vi etc/mapred-site.xml

   • vi etc/slaves

     • 從節點主機名

   • vi etc/yarn-site.xml

     • 修改主機名

4. hadoop啓動

   • 格式化

     • bin/hdfs namenode -format

   • 啓動

     • sbin/start-dfs.sh

   • 驗證

   • jps

     31318 NameNode
       31878 Jps
       31578 SecondaryNameNode

5. hadoop訪問

   • http://主機名:50070