Hadoop 2.6.4單節點集羣環境搭建

1、軟件準備

1. jdk-7u80-linux-x64.tar.gz
2. hadoop-2.6.4.tar.gz
3. ssh客戶端(必須安裝 ssh 且必須運行 sshd 以便使用 Hadoop 腳原本管理遠程的 Hadoop 守護進程, Mac自帶有 ssh 客戶端)

2、JDK安裝配置

1. 下載解壓 jdk-7u80-linux-x64.tar.gz。
2. 配置環境變量, 編輯 .bash_profile 文件，在文件末尾添加如下內容：

# Java Env
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_80.jdk/Contents/Home
export JRE_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_80.jdk/Contents/Home/jre
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

3. 保存後，運行 source .bash_profile，使環境變量當即生效。

4. 輸入 java -version 能夠看到成功安裝的JDK版本信息。

3、Hadoop安裝配置

1. 下載解壓 hadoop-2.6.4.tar.gz。

2. 修改 .bash_profile 文件配置 Hadoop 環境變量，在文件末尾添加如下內容：

# Hadoop Env
export HADOOP_HOME=/Users/jackiehff/Software/hadoop-2.6.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存後，運行 source .bash_profile, 使 Hadoop 環境變量當即生效。

3. 修改 Hadoop 環境變量配置文件 etc/hadoop/hadoop-env.sh，在文件末尾添加如下內容：

# The java implementation to use.
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_80.jdk/Contents/Home

export HADOOP_PREFIX=/Users/jackiehff/Software/hadoop-2.6.4

4. 輸入 hadoop version 能夠看到成功安裝的 Hadoop 版本信息。

5. 輸入 hadoop 能夠看到 hadoop 命令使用方法。

4、單機模式操做

Hadoop默認配置運行於非分佈式模式中，即做爲單個的 Java 進程運行，這樣調試起來會很方便。下面運行一下自帶的 WordCount 程序。

mkdir input
cp etc/hadoop/*.xml input
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep input output
 'dfs[a-z.]+'

運行過程大體以下：

注意：output 目錄必須事先不存在。

查看運行結果

cat outut/*

運行結果以下：

5、僞分佈式模式操做

一、配置ssh

由於僞分佈模式下，即便全部節點都在一臺機器上，Hadoop 也須要經過 ssh 登陸，這一步的目的是配置本機無密碼 ssh 登陸。

驗證是否能夠不須要密碼 ssh 到 localhost。

ssh localhost

若是不行，執行以下命令：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

再次執行 ssh localhost，就無需密碼。

二、修改Hadoop配置文件

僞分佈式模式主要涉及如下配置信息：

(1) 修改 Hadoop 的核心配置文件 core-site.xml, 主要是配置 HDFS 的地址和端口號。

<configuration>
     <property>
          <name>fs.defaultFS</name>
          <value>hdfs://localhost:9000</value>
     </property>
     <property>
        <name>hadoop.tmp.dir</name>
        <value>/Users/jackiehff/Software/hadoop-2.6.4/tmp</value>
     </property>
</configuration>

(2) 修改 Hadoop 中 HDFS 的配置文件 hdfs-site.xml， 主要是配置數據副本。

<configuration>
     <property>
          <name>dfs.replication</name>
          <value>1</value>
     </property>
</configuration>

(3) 修改 Hadoop 中 MapReduce 配置文件 mapred-site.xml, 主要是配置 MapReduce 框架名稱。

<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

(4) 修改 Hadoop 中 YARN 的配置文件 yarn-site.xml,主要用於指定 shuffle server。

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
   </property>
</configuration>

3 、執行

(1) 格式化文件系統

hdfs namenode -format

(2) 啓動 NameNode 和 DataNode 守護進程

start-dfs.sh

Hadoop 守護進程日誌輸出寫到 $HADOOP_LOG_DIR 指定的目錄 (默認是 $HADOOP_HOME/logs)

輸出結果以下：

16/04/11 21:38:26 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [localhost]
localhost: starting namenode, logging to /Users/jackiehff/Software/hadoop-2.6.4/logs/hadoop-jackiehff-namenode-jackiehff.local.out
localhost: starting datanode, logging to /Users/jackiehff/Software/hadoop-2.6.4/logs/hadoop-jackiehff-datanode-jackiehff.local.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /Users/jackiehff/Software/hadoop-2.6.4/logs/hadoop-jackiehff-secondarynamenode-jackiehff.local.out
16/04/11 21:39:39 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

使用 jps 查看當前全部 Java 進程

能夠看到 HDFS 啓動成功。

(3) 瀏覽器訪問 NameNode ，地址： http://localhost:50070/。

(4) 啓動 ResourceManager 和 NodeManager 進程

start-yarn.sh

輸出信息以下：

starting yarn daemons
starting resourcemanager, logging to /Users/jackiehff/Software/hadoop-2.6.4/logs/yarn-jackiehff-resourcemanager-jackiehff.local.out
localhost: starting nodemanager, logging to /Users/jackiehff/Software/hadoop-2.6.4/logs/yarn-jackiehff-nodemanager-jackiehff.local.out

使用 jps 查看當前全部 Java 進程

能夠看到 NodeManager 和 ResourceManager 啓動成功。

(5) 瀏覽器訪問 ResourceManager, 地址： http://localhost:8088/。

(6) 建立執行MapReduce 任務所需的HDFS 目錄。

hdfs dfs -mkdir /input

(7)  拷貝輸入文件到分佈式文件系統

hdfs dfs -put etc/hadoop/* /input

(8) 運行示例程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep /input output dfs'[a-z.]+'

(9) 查看運行結果

hdfs dfs -cat output/*

能夠在瀏覽器中查看相關 Job。

(9) 中止 HDFS。

stop-dfs.sh

(10) 中止 YARN。

stop-yarn.sh