Hadoop 3.1.1僞分佈式模式安裝

Hadoop 3.1.1僞分佈式模式安裝

更多資源

github: https://github.com/opensourceteams/hadoop-java-maven-3.1.1

視頻

• Hadoop 3.1.1僞分佈式模式安裝(bilibili視頻) : https://www.bilibili.com/video/av38149957/
• Hadoop 3.1.1僞分佈式模式安裝(youtube視頻) : https://youtu.be/plVkuyJSNF8

<iframe width="800" height="500" src="//player.bilibili.com/player.html?aid=38149957&cid=67061213&page=1" scrolling="no" border="0" frameborder="no" framespacing="0" allowfullscreen="true"> </iframe>

前置條件

• jdk.1.8.0_191 已安裝
• linux 系統(本文選用的centos 7 系統已完裝好)

技能標籤

• 學會安裝Hadoop3.1.1版本的僞分佈式模式
• 能夠進行Hadoop技術開發(包括HDFS,MapReduce等)
• HDFS啓動中止命令，yarn啓動中止命令
• 官網自帶WorldCount示例運行
• 進行管理界面管理NamenNode管理和ResourceManager管理
• 對Hadoop集羣環境操做(一臺機器也能夠作集羣，只是節點只有一個，不少功能均可以操做)

安裝步驟

安裝ssh

• 通常安裝系統後都已自帶ssh服務，就能夠跳過,直接在終端執行ssh命令，有這個命令就能夠
• 若是沒有須要安裝以下服務

yum install ssh
yum install pdsh

下載Hadoop安裝包

• 官網下載地址:https://hadoop.apache.org/releases.html
• 本文下載版本: hadoop-3.1.1.tar.gz
• http://apache.01link.hk/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz
• 解壓壓縮包

tar -zxvf /hadoop-3.1.1.tar.gz  -C /opt/module/bigdata

配置

hadoop-env.sh

• 編輯etc/hadoop/hadoop-env.sh
• 調置JAVA_HOME環境變量

# set to the root of your Java installation
  export JAVA_HOME=/opt/module/jdk/jdk1.8.0_191

執行命令 Hadoop

• 確認hadoop命令是否能夠正常執行
• 查看當前版本命令

bin/hadoop version

獨立模式

• 本地模式

執行官方自帶示例

mkdir input
  $ cp etc/hadoop/*.xml input
  $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar grep input output 'dfs[a-z.]+'
  $ cat output/*

僞分佈式模式

配置環境變量

• 配置在本地用戶下 ~/.bashrc

export HADOOP_HOME=/opt/module/bigdata/hadoop-3.1.1
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

配置core-site.xml

• 配置文件 etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

配置hdfs-site.xml

• etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

配置 ssh免密登陸

• 驗證是否已經配置 ssh

ssh localhost

• 若是須要輸入密碼驗證，則執行如下

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  $ chmod 0600 ~/.ssh/authorized_keys

• 也能夠執行如下

ssh-keygen 
ssh-copy-id 遠程ip地址

格式化namenode

bin/hdfs namenode -format

啓動namenode和datanode

sbin/start-dfs.sh

• 可配置日誌輸出目錄

$HADOOP_LOG_DIR directory (defaults to $HADOOP_HOME/logs).

訪問namenode

• NameNode - http://localhost:9870/

HDFS上新建目錄

bin/hdfs dfs -mkdir /user
$ bin/hdfs dfs -mkdir /user/<username>

上傳本機文件到HDFS上

bin/hdfs dfs -mkdir input
$ bin/hdfs dfs -put etc/hadoop/*.xml input

運行示例

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar grep input output 'dfs[a-z.]+'

查看示例輸出結果(先下到本地再看)

bin/hdfs dfs -get output output
 $ cat output/*

查看HDFS上的文件內容

bin/hdfs dfs -cat output/*

中止namemode和datanode

sbin/stop-dfs.sh

hadoop-daemon.sh命令

hdfs --daemon start namenode
 hdfs --daemon start datanode
 hdfs --daemon stop namenode
 hdfs --daemon stop datanode

HDFS命令操做

• 在HDFS上新建目錄

hdfs dfs -mkdir -p /home/liuwen/data

• 上傳本地文件到HDFS

hdfs dfs -put /opt/temp/a.txt  /home/liuwen/data

• 查看HDFS文件

hdfs dfs -text  /home/liuwen/data/a.txt

YARN 配置僞分佈式模式

配置文件mapred-site.xml

• etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

<configuration>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>

配置文件mapred-site.xml

• etc/hadoop/yarn-site.xml:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

啓動YARN

• 啓動 ResourceManager daemon 和 NodeManager daemon

sbin/start-yarn.sh

訪問資源管理器

• ResourceManager: http://localhost:8088/

###中止YARN

• 中止 ResourceManager daemon 和 NodeManager daemon

sbin/stop-yarn.sh

WorldCount官網示例運行

• 配置環境變量直接運行 hadoop命令
• worldcount標籤，examples自帶運行對應的程序
• 輸入數據源
• 輸出數據源

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar wordcount  /opt/data/a.txt  /opt/temp/output/output_2

end