Hadoop單機模式和僞分佈式搭建教程CentOS

1. 安裝JAVA環境

2.

Hadoop下載地址：

http://archive.apache.org/dist/hadoop/core/

tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local 

mv hadoop-2.6.0/ hadoop/   #更改文件夾名稱

chown -R hadoop:hadoop ./hadoop   #修改權限 

驗證單機模式是否安裝成功，進入/usr/local/hadoop/bin目錄下，執行./hadoop -version 

vi /etc/hosts  修改主機名 ip映射

爲了便於Hadoop的操做，咱們在爲hadoop用戶添加環境變量

 僞分佈式安裝

修改 core-site.xml

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hd3:9000</value>
</property>
</configuration>

修改hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>

</configuration>

修改 hadoop-env.sh

加入

 修改yarn-env.sh

加入

export JAVA_HOME=/usr/local/jdk1.7.0_80
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

啓動hadoop

                先啓動HDFS

                    start-dfs.sh

再啓動YARN

    start-yarn.sh

 

安裝Hadoop啓動以後總有警告：Unable to load native-hadoop library for your platform... using builtin-Java classes where applicable

緣由：
Apache提供的hadoop本地庫是32位的，而在64位的服務器上就會有問題，所以須要本身編譯64位的版本。

一、首先找到對應本身hadoop版本的64位的lib包，能夠本身手動去編譯，但比較麻煩，也能夠去網上找，好多都有已經編譯好了的。

二、能夠去網站：http://dl.bintray.com/sequenceiq/sequenceiq-bin/  下載對應的編譯版本

三、將準備好的64位的lib包解壓到已經安裝好的hadoop安裝目錄的lib/native 和 lib目錄下：

 

 

tar -xvf hadoop-native-64-2.7.0.tar -C hadoop-2.7.2/lib/native  

     

四、而後增長環境變量：

 

[hadoop@hadoopTest hadoop-2.7.2]$ vi /etc/profile

增長下面的內容：

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

讓環境變量生效

 

 source /etc/profile