CentOS6.7 安裝hadoop2.7.5

1、下載hadoop二進制包

下載地址：http://mirrors.hust.edu.cn/apache/hadoop/common/

2、環境準備

一、安裝JDK(1.8.0_151)

二、安裝openssh-clients

注意： CentOS6.7 默認沒有安裝openssh-clients，致使系統沒有ssh命令，而hadoop腳本中會使用ssh命令，若是不裝openssh-clients，啓動服務器時會報錯

3、安裝hadoop

tar zxf hadoop-2.7.5.tar.gz -C /usr/local/
mv /usr/local/hadoop-2.7.5  /usr/local/hadoop
cd /usr/local/hadoop/etc/hadoop

一、修改hadoop-env.sh，配置JAVA_HOME

export JAVA_HOME=/usr/java/jdk1.8.0_151

二、修改core-site.xml文件，在configuration標籤中加入如下配置

<configuration>
<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
</property>
<property>
    <name>hadoo.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
</property>
</configuration>

三、修改hdfs-site.xml文件，加入如下配置

<configuration>
<property>
     <name>dfs.http.address</name>
     <value>192.168.115.237:50070</value>
   </property>
   <property>
     <name>dfs.replication</name>
     <value>1</value>
   </property>
   <property>
     <name>dfs.namenode.name.dir</name>
     <value>file:/usr/local/hadoop/tmp/dfs/name</value>
   </property>
   <property>
     <name>dfs.datanode.data.dir</name>
     <value>file:/usr/local/hadoop/tmp/dfs/data</value>
   </property>
</configuration>

四、修改marped-site.xml文件

cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

<configuration>
<property>  
    <name>marped.job.tracker</name>  
    <value>localhost:9001</value>  
</property>
</configuration>

五、格式化hadoop的HDFS文件系統，在hadoop文件中輸入

./bin/hadoop namenode -format

六、若是第5步沒有報錯，則執行下面的命令，啓動hadoop服務

sbin/start-all.sh

啓動時，會屢次登陸本機，要求輸入root帳戶的密碼，能夠使用公鑰認證的方式，進行免密碼登陸。這裏不介紹任何設置

若是服務正常啓動，輸入jps能看到如下進程

訪問http://ip:50070 能夠查看hadoop集羣狀態

參考：http://blog.csdn.net/qq_32554863/article/details/79409433