Hadoop僞分佈式集羣搭建

聲明：做者原創，轉載註明出處。

做者：帥氣陳吃蘋果

一、下載Hadoop壓縮包

wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz

二、解壓Hadoop壓縮包

mkdir /bigdata
tar -zxvf hadoop-2.6.5.tar.gz -C /bigdata

三、配置Hadoop（僞分佈式）

cd /bigdata/hadoop-2.6.5/etc/hadoop

1）vim hadoop-env.xml

export JAVA_HOME=/usr/lib/jvm/java

2）vim core-site.xml

<configuration>
   <!-- 配置hdfs的namenode的地址-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master</value>
    <property>
    <!-- 配置Hadoop運行時產生數據的存儲目錄，注意：不是臨時數據 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/local/var/hadoop/tmp/hadoop~${user.name}</value>
    </property>
</configuration>

3）vim hdfs-site.xml

<configuration>
   <!-- 指定HDFS存儲數據的副本數據量-->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    <property>
</configuration>

4）vim mapred-site.xml

<configuration>
   <!-- 指定MapReduce編程模型運行在YARN上-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    <property>
</configuration>

5）vim yarn-site.xml

<configuration>
    <!-- 指定YARN的resourcemanager的地址（僞分佈式時就是主機名，localhost或IP地址都行） -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    <property>

    <!--  MapReduce執行shuffle時獲取數據的方式 -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    <property>
</configuration>

6）vim /etc/hosts

添加主機ip與主機名的映射：

192.168.29.188 master

四、HDFS初始化

即格式化HDFS（的namenode），

cd hadoop/hadoop-2.6.5/bin

hadoop namenode -format

五、啓動Hadoop集羣

cd hadoop/hadoop-2.6.5/sbin

//在hadoop-2.x中，推薦使用start-dfs.sh和start-yarn.sh來分別啓動
start-all.sh

六、使用jps命令查看進程是否存在

8707     DataNode
8580     NameNode
9013     ResourceManager
8873     SecondaryNameNode
18057     Application
9308     NodeManager
17644     Jps

七、查看WEB界面

訪問HDFS的管理界面：ip:50070

訪問YARN的管理界面：ip:8088

最後，歡迎指正。喜歡的話，點個讚唄，請你吃蘋果。