分佈式資源調度——YARN框架

時間  2021-02-15
標籤 html java node apache vim centos 瀏覽器 bash 網絡 架構 欄目 系統架構 简体版
原文   原文鏈接

YARN產生背景

YARN是Hadoop2.x纔有的，因此在介紹YARN以前，咱們先看一下MapReduce1.x時所存在的問題：html

  • 單點故障
  • 節點壓力大
  • 不易擴展

MapReduce1.x時的架構以下：
分佈式資源調度——YARN框架java

能夠看到，1.x時也是Master/Slave這種主從結構，在集羣上的表現就是一個JobTracker帶多個TaskTracker。node

JobTracker：負責資源管理和做業調度
TaskTracker：按期向JobTracker彙報本節點的健康情況、資源使用狀況以及做業執行狀況。還能夠接收來自JobTracker的命令，例如啓動任務或結束任務等。apache

那麼這種架構存在哪些問題呢：vim

  1. 整個集羣中只有一個JobTracker，就表明着會存在單點故障的狀況
  2. JobTracker節點的壓力很大，不只要接收來自客戶端的請求，還要接收大量TaskTracker節點的請求
  3. 因爲JobTracker是單節點，因此容易成爲集羣中的瓶頸，並且也不易域擴展
  4. JobTracker承載的職責過多，基本整個集羣中的事情都是JobTracker來管理
  5. 1.x版本的整個集羣只支持MapReduce做業，其餘例如Spark的做業就不支持了

因爲1.x版本不支持其餘框架的做業，因此致使咱們須要根據不一樣的框架去搭建多個集羣。這樣就會致使資源利用率比較低以及運維成本太高，由於多個集羣會致使服務環境比較複雜。以下圖：
分佈式資源調度——YARN框架centos

在上圖中咱們能夠看到，不一樣的框架我不只須要搭建不一樣的集羣。並且這些集羣不少時候並非老是在工做，如上圖能夠看到，Hadoop集羣在忙的時候Spark就比較閒，Spark集羣比較忙的時候Hadoop集羣就比較閒，而MPI集羣則是總體並非很忙。這樣就沒法高效的利用資源，由於這些不一樣的集羣沒法互相使用資源。除此以外，咱們還得運維這些個不一樣的集羣，並且文件系統是沒法共享的。若是當須要將Hadoop集羣上的HDFS裏存儲的數據傳輸到Spark集羣上進行計算時，還會耗費至關大的網絡IO流量。瀏覽器

因此咱們就想着要把這些集羣都合併在一塊兒，讓這些不一樣的框架可以運行在同一個集羣上，這樣就能解決這各類各樣的問題了。以下圖：
分佈式資源調度——YARN框架bash

正是由於在1.x中，有各類各樣的問題，才使得YARN得以誕生，而YARN就能夠令這些不一樣的框架運行在同一個集羣上，併爲它們調度資源。咱們來看看Hadoop2.x的架構圖：
分佈式資源調度——YARN框架網絡

在上圖中，咱們能夠看到，集羣最底層的是HDFS，在其之上的就是YARN層，而在YARN層上則是各類不一樣的計算框架。因此不一樣計算框架能夠共享同一個HDFS集羣上的數據，享受總體的資源調度，進而提升集羣資源的利用率，這也就是所謂的 xxx on YARN。架構

YARN架構

YARN概述：

  • YARN是資源調度框架
  • 通用的資源管理系統
  • 爲上層應用提供統一的資源管理和調度

YARN架構圖，也是Master/Slave結構的：
分佈式資源調度——YARN框架

從上圖中，咱們能夠看到YARN主要由如下幾個核心組件構成：

1. ResourceManager， 簡稱RM，整個集羣同一時間提供服務的RM只有一個，它負責集羣資源的統一管理和調度。以及還須要處理客戶端的請求，例如：提交做業或結束做業等。而且監控集羣中的NM，一旦某個NM掛了，那麼就須要將該NM上運行的任務告訴AM來如何進行處理。

2. NodeManager， 簡稱NM，整個集羣中會有多個NM，它主要負責本身自己節點的資源管理和使用，以及定時向RM彙報本節點的資源使用狀況。接收並處理來自RM的各類命令，例如：啓動Container。NM還須要處理來自AM的命令，例如：AM會告訴NM須要啓動多少個Container來跑task。

3. ApplicationMaster， 簡稱AM，每一個應用程序都對應着一個AM。例如：MapReduce會對應一個、Spark會對應一個。它主要負責應用程序的管理，爲應用程序向RM申請資源（Core、Memory），將資源分配給內部的task。AM須要與NM通訊，以此來啓動或中止task。task是運行在Container裏面的，因此AM也是運行在Container裏面。

4. Container， 封裝了CPU、Memory等資源的一個容器，至關因而一個任務運行環境的抽象。

5. Client， 客戶端，它能夠提交做業、查詢做業的運行進度以及結束做業。

YARN官方文檔地址以下：

https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/YARN.html

YARN執行流程

假設客戶端向ResourceManager提交一個做業，ResourceManager則會爲這個做業分配一個Container。因此ResourceManager會與NodeManager進行通訊，要求這個NodeManager啓動一個Container。而這個Container是用來啓動ApplicationMaster的，ApplicationMaster啓動完以後會與ResourceManager進行一個註冊。這時候客戶端就能夠經過ResourceManager查詢做業的運行狀況了。而後ApplicationMaster還會到ResourceManager上申請做業所須要的資源，申請到之後就會到對應的NodeManager之上運行客戶端所提交的做業，而後NodeManager就會把task運行在啓動的Container裏。

以下圖：
分佈式資源調度——YARN框架

另外找到兩篇關於YARN執行流程不錯的文章：

YARN環境搭建

介紹完基本的理論部分以後，咱們來搭建一個僞分佈式的單節點YARN環境，使用的hadoop版本以下：

  • hadoop-2.6.0-cdh5.7.0

官方的安裝文檔地址以下：

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

1.下載並解壓好hadoop-2.6.0-cdh5.7.0，這一步能夠參考我以前寫的一篇關於HDFS僞分佈式環境搭建的文章，我這裏就再也不贅述了。

確保HDFS是正常啓動狀態：

[root@localhost ~]# jps
3827 Jps
3383 NameNode
3500 DataNode
3709 SecondaryNameNode
[root@localhost ~]#

2.編輯mapred-site.xml配置文件，在文件中增長以下內容：

[root@localhost ~]# cd /usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop
[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop]# cp mapred-site.xml.template mapred-site.xml  # 拷貝模板文件
[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop]# vim mapred-site.xml  # 增長以下內容
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

3.編輯yarn-site.xml配置文件，在文件中增長以下內容：

[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop]# vim yarn-site.xml  # 增長以下內容
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

4.啓動ResourceManager進程以及NodeManager進程：

[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop]# cd ../../sbin/
[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/sbin]# ./start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /usr/local/hadoop-2.6.0-cdh5.7.0/logs/yarn-root-resourcemanager-localhost.out
localhost: starting nodemanager, logging to /usr/local/hadoop-2.6.0-cdh5.7.0/logs/yarn-root-nodemanager-localhost.out
[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/sbin]# jps
3984 NodeManager  # 啓動成功後能夠看到多出了NodeManager
4947 DataNode
5252 Jps
5126 SecondaryNameNode
3884 ResourceManager  # 和ResourceManager進程，這樣纔是正常的。
4813 NameNode
[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/sbin]# netstat -lntp |grep java
tcp        0      0 0.0.0.0:50090           0.0.0.0:*               LISTEN      5126/java
tcp        0      0 127.0.0.1:42602         0.0.0.0:*               LISTEN      4947/java
tcp        0      0 192.168.77.130:8020     0.0.0.0:*               LISTEN      4813/java
tcp        0      0 0.0.0.0:50070           0.0.0.0:*               LISTEN      4813/java
tcp        0      0 0.0.0.0:50010           0.0.0.0:*               LISTEN      4947/java 
tcp        0      0 0.0.0.0:50075           0.0.0.0:*               LISTEN      4947/java
tcp        0      0 0.0.0.0:50020           0.0.0.0:*               LISTEN      4947/java 
tcp6       0      0 :::8040                 :::*                    LISTEN      5566/java 
tcp6       0      0 :::8042                 :::*                    LISTEN      5566/java
tcp6       0      0 :::8088                 :::*                    LISTEN      5457/java 
tcp6       0      0 :::13562                :::*                    LISTEN      5566/java
tcp6       0      0 :::8030                 :::*                    LISTEN      5457/java 
tcp6       0      0 :::8031                 :::*                    LISTEN      5457/java
tcp6       0      0 :::8032                 :::*                    LISTEN      5457/java 
tcp6       0      0 :::48929                :::*                    LISTEN      5566/java
tcp6       0      0 :::8033                 :::*                    LISTEN      5457/java
[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/sbin]#

5.經過瀏覽器來訪問ResourceManager，默認端口是8088，例如192.168.77.130:8088，就會訪問到這樣的一個頁面上：
分佈式資源調度——YARN框架

錯誤解決：

從上圖中，能夠看到有一個不健康的節點，也就是說咱們的單節點環境有問題，點擊紅色框框中標記的數字能夠進入到詳細的信息頁面，在該頁面中看到了以下信息：

分佈式資源調度——YARN框架

因而查看yarn的日誌文件：yarn-root-nodemanager-localhost.log，發現以下警告與異常：
分佈式資源調度——YARN框架

很明顯是由於磁盤的使用空間達到了90%，因此咱們須要刪除一些沒有的數據，或者擴容磁盤空間才行。因而刪除了一堆安裝包，讓磁盤空間下降到90%如下了：

[root@localhost /usr/local]# df -h
Filesystem               Size  Used Avail Use% Mounted on
/dev/mapper/centos-root   19G   14G  4.5G  76% /
devtmpfs                 3.9G     0  3.9G   0% /dev
tmpfs                    3.9G     0  3.9G   0% /dev/shm
tmpfs                    3.9G  8.7M  3.9G   1% /run
tmpfs                    3.9G     0  3.9G   0% /sys/fs/cgroup
/dev/sdb                  50G   14G   34G  29% /kvm_data
/dev/sda1                497M  127M  371M  26% /boot
tmpfs                    781M     0  781M   0% /run/user/0
[root@localhost /usr/local]#

這時再次刷新頁面，能夠發現這個節點就正常了：
分佈式資源調度——YARN框架

到此爲止，咱們的yarn環境就搭建完成了。

若是須要關閉進程則使用如下命令：

[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/sbin]# stop-yarn.sh

初識提交PI的MapReduce做業到YARN上執行

雖然咱們沒有搭建MapReduce的環境，可是咱們可使用Hadoop自帶的一些測試例子來演示一下如何提交做業到YARN上執行。Hadoop把example的包放在了以下路徑，能夠看到有好幾個jar包：

[root@localhost ~]# cd /usr/local/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce/
[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce]# ls
hadoop-mapreduce-client-app-2.6.0-cdh5.7.0.jar
hadoop-mapreduce-client-common-2.6.0-cdh5.7.0.jar
hadoop-mapreduce-client-core-2.6.0-cdh5.7.0.jar
hadoop-mapreduce-client-hs-2.6.0-cdh5.7.0.jar
hadoop-mapreduce-client-hs-plugins-2.6.0-cdh5.7.0.jar
hadoop-mapreduce-client-jobclient-2.6.0-cdh5.7.0.jar
hadoop-mapreduce-client-jobclient-2.6.0-cdh5.7.0-tests.jar
hadoop-mapreduce-client-nativetask-2.6.0-cdh5.7.0.jar
hadoop-mapreduce-client-shuffle-2.6.0-cdh5.7.0.jar
hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar
lib
lib-examples
sources
[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce]#

在這裏咱們使用hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar這個jar包來進行演示：

[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce]# hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 2 3

命令說明：

  • hadoop jar 執行一個jar包做業的命令
  • hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar 須要被執行的jar包路徑
  • pi 表示計算圓周率，能夠寫其餘的
  • 末尾的兩個數據分別表示指定運行2次map， 以及指定每一個map任務取樣3次，兩數相乘即爲總的取樣數。

運行以上命令後，到瀏覽器頁面上進行查看，會有如下三個階段：

1.接收資源，這個階段就是ApplicationMaster到ResourceManager上申請做業所須要的資源：
分佈式資源調度——YARN框架

2.運行做業，這時候NodeManager就會把task運行在啓動的Container裏：
分佈式資源調度——YARN框架

3.做業完成：
分佈式資源調度——YARN框架

終端輸出信息以下：

[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce]# hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 2 3
Number of Maps  = 2
Samples per Map = 3
Wrote input for Map #0
Wrote input for Map #1
Starting Job
18/03/27 23:00:01 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
18/03/27 23:00:01 INFO input.FileInputFormat: Total input paths to process : 2
18/03/27 23:00:01 INFO mapreduce.JobSubmitter: number of splits:2
18/03/27 23:00:02 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1522162696272_0001
18/03/27 23:00:02 INFO impl.YarnClientImpl: Submitted application application_1522162696272_0001
18/03/27 23:00:02 INFO mapreduce.Job: The url to track the job: http://localhost:8088/proxy/application_1522162696272_0001/
18/03/27 23:00:02 INFO mapreduce.Job: Running job: job_1522162696272_0001
18/03/27 23:00:10 INFO mapreduce.Job: Job job_1522162696272_0001 running in uber mode : false
18/03/27 23:00:10 INFO mapreduce.Job:  map 0% reduce 0%
18/03/27 23:00:15 INFO mapreduce.Job:  map 50% reduce 0%
18/03/27 23:00:16 INFO mapreduce.Job:  map 100% reduce 0%
18/03/27 23:00:19 INFO mapreduce.Job:  map 100% reduce 100%
18/03/27 23:00:20 INFO mapreduce.Job: Job job_1522162696272_0001 completed successfully
18/03/27 23:00:20 INFO mapreduce.Job: Counters: 49
    File System Counters
        FILE: Number of bytes read=50
        FILE: Number of bytes written=335298
        FILE: Number of read operations=0
        FILE: Number of large read operations=0
        FILE: Number of write operations=0
        HDFS: Number of bytes read=536
        HDFS: Number of bytes written=215
        HDFS: Number of read operations=11
        HDFS: Number of large read operations=0
        HDFS: Number of write operations=3
    Job Counters 
        Launched map tasks=2
        Launched reduce tasks=1
        Data-local map tasks=2
        Total time spent by all maps in occupied slots (ms)=7108
        Total time spent by all reduces in occupied slots (ms)=2066
        Total time spent by all map tasks (ms)=7108
        Total time spent by all reduce tasks (ms)=2066
        Total vcore-seconds taken by all map tasks=7108
        Total vcore-seconds taken by all reduce tasks=2066
        Total megabyte-seconds taken by all map tasks=7278592
        Total megabyte-seconds taken by all reduce tasks=2115584
    Map-Reduce Framework
        Map input records=2
        Map output records=4
        Map output bytes=36
        Map output materialized bytes=56
        Input split bytes=300
        Combine input records=0
        Combine output records=0
        Reduce input groups=2
        Reduce shuffle bytes=56
        Reduce input records=4
        Reduce output records=0
        Spilled Records=8
        Shuffled Maps =2
        Failed Shuffles=0
        Merged Map outputs=2
        GC time elapsed (ms)=172
        CPU time spent (ms)=2990
        Physical memory (bytes) snapshot=803618816
        Virtual memory (bytes) snapshot=8354324480
        Total committed heap usage (bytes)=760217600
    Shuffle Errors
        BAD_ID=0
        CONNECTION=0
        IO_ERROR=0
        WRONG_LENGTH=0
        WRONG_MAP=0
        WRONG_REDUCE=0
    File Input Format Counters 
        Bytes Read=236
    File Output Format Counters 
        Bytes Written=97
Job Finished in 19.96 seconds
Estimated value of Pi is 4.00000000000000000000
[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce]#

以上這個例子計算了一個PI值，下面咱們再來演示一個hadoop中比較經典的例子：wordcount ，這是一個經典的詞頻統計的例子。首先建立好用於測試的文件：

[root@localhost ~]# mkdir /tmp/input
[root@localhost ~]# cd /tmp/input/
[root@localhost /tmp/input]# echo "hello word" > file1.txt
[root@localhost /tmp/input]# echo "hello hadoop" > file2.txt
[root@localhost /tmp/input]# echo "hello mapreduce" >> file2.txt
[root@localhost /tmp/input]# hdfs dfs -mkdir /wc_input
[root@localhost /tmp/input]# hdfs dfs -put ./file* /wc_input
[root@localhost /tmp/input]# hdfs dfs -ls /wc_input
Found 2 items
-rw-r--r--   1 root supergroup         11 2018-03-27 23:11 /wc_input/file1.txt
-rw-r--r--   1 root supergroup         29 2018-03-27 23:11 /wc_input/file2.txt
[root@localhost /tmp/input]#

而後執行如下命令：

[root@localhost /tmp/input]# cd /usr/local/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce
[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce]# hadoop jar ./hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar wordcount /wc_input /wc_output

在yarn頁面上顯示的階段信息：
分佈式資源調度——YARN框架
分佈式資源調度——YARN框架
分佈式資源調度——YARN框架

終端輸出信息以下：

[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce]# hadoop jar ./hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar wordcount /wc_input /wc_output
18/03/27 23:12:54 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
18/03/27 23:12:55 INFO input.FileInputFormat: Total input paths to process : 2
18/03/27 23:12:55 INFO mapreduce.JobSubmitter: number of splits:2
18/03/27 23:12:55 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1522162696272_0002
18/03/27 23:12:56 INFO impl.YarnClientImpl: Submitted application application_1522162696272_0002
18/03/27 23:12:56 INFO mapreduce.Job: The url to track the job: http://localhost:8088/proxy/application_1522162696272_0002/
18/03/27 23:12:56 INFO mapreduce.Job: Running job: job_1522162696272_0002
18/03/27 23:13:02 INFO mapreduce.Job: Job job_1522162696272_0002 running in uber mode : false
18/03/27 23:13:02 INFO mapreduce.Job:  map 0% reduce 0%
18/03/27 23:13:06 INFO mapreduce.Job:  map 50% reduce 0%
18/03/27 23:13:07 INFO mapreduce.Job:  map 100% reduce 0%
18/03/27 23:13:11 INFO mapreduce.Job:  map 100% reduce 100%
18/03/27 23:13:12 INFO mapreduce.Job: Job job_1522162696272_0002 completed successfully
18/03/27 23:13:12 INFO mapreduce.Job: Counters: 49
    File System Counters
        FILE: Number of bytes read=70
        FILE: Number of bytes written=334375
        FILE: Number of read operations=0
        FILE: Number of large read operations=0
        FILE: Number of write operations=0
        HDFS: Number of bytes read=260
        HDFS: Number of bytes written=36
        HDFS: Number of read operations=9
        HDFS: Number of large read operations=0
        HDFS: Number of write operations=2
    Job Counters 
        Launched map tasks=2
        Launched reduce tasks=1
        Data-local map tasks=2
        Total time spent by all maps in occupied slots (ms)=5822
        Total time spent by all reduces in occupied slots (ms)=1992
        Total time spent by all map tasks (ms)=5822
        Total time spent by all reduce tasks (ms)=1992
        Total vcore-seconds taken by all map tasks=5822
        Total vcore-seconds taken by all reduce tasks=1992
        Total megabyte-seconds taken by all map tasks=5961728
        Total megabyte-seconds taken by all reduce tasks=2039808
    Map-Reduce Framework
        Map input records=3
        Map output records=6
        Map output bytes=64
        Map output materialized bytes=76
        Input split bytes=220
        Combine input records=6
        Combine output records=5
        Reduce input groups=4
        Reduce shuffle bytes=76
        Reduce input records=5
        Reduce output records=4
        Spilled Records=10
        Shuffled Maps =2
        Failed Shuffles=0
        Merged Map outputs=2
        GC time elapsed (ms)=157
        CPU time spent (ms)=2290
        Physical memory (bytes) snapshot=800239616
        Virtual memory (bytes) snapshot=8352272384
        Total committed heap usage (bytes)=762314752
    Shuffle Errors
        BAD_ID=0
        CONNECTION=0
        IO_ERROR=0
        WRONG_LENGTH=0
        WRONG_MAP=0
        WRONG_REDUCE=0
    File Input Format Counters 
        Bytes Read=40
    File Output Format Counters 
        Bytes Written=36
[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce]#

查看輸出的結果文件：

[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce]# hdfs dfs -ls /wc_output
Found 2 items
-rw-r--r--   1 root supergroup          0 2018-03-27 23:13 /wc_output/_SUCCESS
-rw-r--r--   1 root supergroup         36 2018-03-27 23:13 /wc_output/part-r-00000
[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce]# hdfs dfs -cat /wc_output/part-r-00000   # 實際輸出結果在part-r-00000中
hadoop  1
hello   3
mapreduce   1
word    1
[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce]#
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程