Hadoop 之 Yarn

1 概述

Yarn 是一個資源調度平臺，負責爲運算程序提供服務器運算資源，至關於一個分佈式的操做系統平臺，而 MapReduce 等運算程序則至關於運行於操做系統之上的應用程序。

2 Yarn 基本架構

3 Yarn 工做機制

工做機制詳解：

1）MR 程序提交到客戶端所在的節點。

2）YarnRunner 向 ResourceManager 申請一個 Application。

3）RM 將該應用程序的資源路徑返回給 YarnRunner。

4）該程序將運行所需資源提交到 HDFS 上。

5）程序資源提交完畢後，申請運行 mrAppMaster。

6）RM 將用戶的請求初始化成一個 Task。

7）其中一個 NodeManager 領取到 Task 任務。

8）該 NodeManager 建立容器 Container，併產生 MRAppmaster。

9）Container 從 HDFS 上拷貝資源到本地。

10）MRAppmaster 向 RM 申請運行 MapTask 資源。

11）RM 將運行 MapTask 任務分配給另外兩個 NodeManager，另兩個 NodeManager 分別領取任務並建立容器。

12）MR 向兩個接收到任務的 NodeManager 發送程序啓動腳本，這兩個 NodeManager 分別啓動 MapTask，MapTask 對數據分區排序。

13）MrAppMaster 等待全部 MapTask 運行完畢後，向 RM 申請容器，運行 ReduceTask。

14）ReduceTask 向 MapTask 獲取相應分區的數據。

15）程序運行完畢後，MR 會向 RM 申請註銷本身。

4 做業提交全過程

4.1 做業提交過程之 YARN

做業提交全過程詳解：

1）做業提交

• Client調用 job.waitForCompletion() 方法，向整個集羣提交 MapReduce 做業。
• Client 向 RM 申請一個做業 id。
• RM 給 Client 返回該 job 資源的提交路徑和做業 id。
• Client 提交 jar 包、切片信息和配置文件到指定的資源提交路徑。
• Client 提交完資源後，向 RM 申請運行 MrAppMaster。

2）做業初始化

• 當 RM 收到 Client 的請求後，將該 job 添加到容量調度器中。
• 某一個空閒的 NM 領取到該 Job。
• 該 NM 建立 Container，併產生 MRAppmaster。
• 下載 Client 提交的資源到本地。

3）任務分配

• MrAppMaster 向 RM 申請運行多個 MapTask 任務資源。
• RM 將運行 MapTask 任務分配給另外兩個 NodeManager，另兩個 NodeManager 分別領取任務並建立容器。

4）任務運行

• MR 向兩個接收到任務的 NodeManager 發送程序啓動腳本，這兩個 NodeManager 分別啓動 MapTask，MapTask 對數據分區排序。
• MrAppMaster 等待全部 MapTask 運行完畢後，向 RM 申請容器，運行 ReduceTask。
• ReduceTask 向 MapTask獲取相應分區的數據。
• 程序運行完畢後，MR 會向 RM 申請註銷本身。

5）進度和狀態更新

• YARN 中的任務將其進度和狀態(包括 counter )返回給應用管理器, 客戶端每秒(經過mapreduce.client.progressmonitor.pollinterval 設置)嚮應用管理器請求進度更新, 展現給用戶。

6）做業完成

• 除了嚮應用管理器請求做業進度外, 客戶端每 5 秒都會經過調用 waitForCompletion() 來檢查做業是否完成，時間間隔能夠經過 mapreduce.client.completion.pollinterval 來設置。做業完成以後, 應用管理器和 Container 會清理工做狀態，做業的信息會被做業歷史服務器存儲以備以後用戶覈查。

4.2 做業提交過程之 MapReduce

5 資源調度器

目前，Hadoop做業調度器主要有三種：FIFO、Capacity Scheduler和Fair Scheduler。Hadoop2.7.2默認的資源調度器是Capacity Scheduler。

[yarn-default.xml]

<property>
    <description>The class to use as the resource scheduler.</description>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>

先進先出調度器

容量調度器

公平調度器

6 任務的推測執行

做業完成時間取決於最慢的任務完成時間，一個做業由若干個 Map 任務和 Reduce 任務構成，因硬件老化、軟件Bug等，某些任務可能運行很是慢，系統中有 99% 的 Map 任務都完成了，只有少數幾個 Map 總是進度很慢，完不成，怎麼辦？

推測執行機制

爲拖後腿的任務啓動一個備份任務，同時運行，誰先運行完用誰的結果

執行推測任務的前提條件

• 每一個 Task 只能有一個備份任務
• 當前 Job 已完成的 Task 必須不小於 0.05（5%）
• 開啓推測執行參數設置，mapred-site.xml 文件中默認是打開的。

不能啓用推測執行機制狀況

• 任務間存在嚴重的負載傾斜
• 特殊任務，好比任務向數據庫中寫數據。

原理圖：