Yarn詳解

1、Yarn架構

Yarn架構設計也是主從架構，分爲Resource Manager（RM）和Node Manager（NM），其中RM主要負責應用管理和資源調度，NM主要負責容器和做業。

一、Yarn架構介紹

 

ResourceManager（RM）：

　　負責對各個Node Manager(NM)上的資源進行統一管理和調度，將ApplicationMaster(AM)分配空閒的Container運行並監控其運行狀態。對AM申請的資源請求分配相應的空閒Container。主要由兩個組件構成：調度器（Scheduler）和應用程序管理器（Application Manager）。

調度器（Scheduler）：調度器根據容量、隊列等限制條件（如每一個隊列分配必定的資源，最多執行必定數量的做業等），將系統中的資源分配給各個正在運行的應用程序。調度器僅根據各個應用程序的資源需求進行資源分配，而資源分配單位是Container，從而限定每一個任務使用的資源量。Scheduler不負責監控或者跟蹤應用程序的狀態，也不負責任務由於各類緣由而須要的重啓（由ApplicationMaster負責）。總之，調度器根據應用程序的資源要求，以及集羣機器的資源狀況，爲用程序分配封裝在Container中的資源。

應用程序管理器（Application Manager）：應用程序管理器負責管理整個系統中全部應用程序，包括應用程序提交、與調度器協商資源以啓動AM、監控AM運行狀態並在失敗時從新啓動等，跟蹤分給的Container的進度、狀態也是其職責。

NodeManager（NM）：

　　NM是每一個節點上的資源和任務管理器。它會定時地向RM彙報本節點上的資源使用狀況和各個Container的運行狀態；同時會接收並處理來自Application Master的Container啓動/中止等請求。

ApplicationMaster(AM):：

　　用戶提交的應用程序均包含一個AM，負責應用的監控，跟蹤應用執行狀態，重啓失敗任務等。ApplicationMaster是應用框架，它負責ResouceManager協調資源，而且與NodeManager協同工做完成Task的執行和監控。MapReduce就是原生支持的一種框架，能夠在YARN上運行MapReduce做業。有不少分佈式應用都開發了對應的應用程序框架，用於在YARN上運行任務，例如：Spark，Storm等。若是須要，咱們也能夠本身寫一個符合規範的YARN application。Container：是YARN中的資源抽象，它封裝了某個節點上的多維度資源，如內存、CPU、磁盤、網絡等，當AM向RM申請資源時，RM爲AM返回的資源即是用Container 表示的。 YARN會爲每一個任務分配一個Container且該任務只能使用該Container中描述的資源。

2、YARN經常使用命令

一、查看YARN命令

　　a、進入hadoop程序目錄中的bin目錄

　　b、查看yarn全部命令

　　yarn

二、查看正在運行的任務

　　hadoop/bin]$yarn application -list

　　PS：application_1528463812366_0001，查詢的數字1528463812366表明long型下的時間數值

三、殺掉正在運行的任務

　　yarn application -kill 任務id

　　例：yarn application -kill application_1528463812366_0001

3、YARN三種調度器

　　在YARN中，負責應用資源分配的是Schedule（調度器），對於調度，其自己就是一個難題。在YARN中提供了三種能夠選擇的調度器：

　　FIFO Schedule

　　Capacity Schedule

　　FairSchedule

　　其對比圖以下所示：

FIFO Scheduler：可稱爲隊列調度器，簡單的理解就是所提交 的job一個一個完成。

Capacity Scheduler（默認）：簡單理解就是會額外空出一部分資源，專門用於完成一些小的Job,可是若沒有相關任務，則這個資源就會一直佔有，容易形成資源浪費。

Fair Scheduler：通常狀況下，調度器選擇這種調度方式，簡單理解就是我一個JOB佔用所有資源工做，如有小的JOB進來，就釋放必定的資源去完成小Job，小Job完成後，大Job繼續佔用，通常不會產生資源浪費。（ps:小Job提交後須要等待必定時間，等待大Job釋放資源）。

4、YARN執行流程

一、用戶向YARN中提交應用程序，其中包括ApplicationMaster程序、啓動ApplicationMaster命令、用戶程序等
二、resourceManager爲該應用程序分配第一個container，並與對應的nodeManager通訊，要求它在這個container中啓動應用程序的ApplicationMaster
三、ApplicationMaster首先向ResourceManager註冊，這樣用戶能夠直接經過ResourceManager查看應用程序的運行狀態，而後它將爲各個任務申請資源，並監控它的運行狀態，直到運行結束，即重複4~7
四、ApplicationMaster採用輪詢的方式經過RPC協議向resourceManager申請和領取資源
五、一旦ApplicationMaster申請到資源後，便與對應的Nodemanager通訊，要求它啓動任務。
六、NodeManager爲任務設置好運行環境(包括環境變量、JAR包、二進制程序等)後，將任務啓動命令寫到一個腳本中，並經過運行該腳本啓動任務
七、各個任務經過某個RPC協議向ApplicationMaster彙報本身的狀態和進度，以讓ApplicationMaster隨時掌握各個任務的運行狀態，從而能夠在任務失敗時從新啓動任務。在應用程序運行過程當中，用戶可隨時經過RPC向ApplicationMaster查詢應用程序的當前運行狀態
八、應用程序運行完成後，ApplicationMaster向resourceManager註銷並關閉本身

5、YARN三種調度策略比較

一、FIFOScheduler

FIFO Scheduler把應用按提交的順序排成一個隊列，這是一個先進先出隊列，在進行資源分配的時候，先給隊列中最頭上的應用進行分配資源，待最頭上的應用需求知足後再給下一個分配，以此類推。
FIFO Scheduler是最簡單也是最容易理解的調度器，也不須要任何配置，但它並不適用於共享集羣。大的應用可能會佔用全部集羣資源，這就致使其它應用被阻塞。在共享集羣中，更適合採用Capacity Scheduler或Fair Scheduler，這兩個調度器都容許大任務和小任務在提交的同時得到必定的系統資源。

缺點：

　　耗時長的任務會致使後提交的一直處於等待狀態，資源利用率不高；當集羣多人共享，顯然不合理，不適合共享集羣，共享集羣更適合採用Capacity Scheduler或Fair Scheduler

二、CapacityScheduler

對於Capacity調度器，有一個專門的隊列用來運行小任務，可是爲小任務專門設置一個隊列會預先佔用必定的集羣資源，這就致使大任務的執行時間會落後於使用FIFO調度器時的時間。

三、Fair Scheduler

在Fair調度器中，咱們不須要預先佔用必定的系統資源，Fair調度器會爲全部運行的job動態的調整系統資源。當第一個大job提交時，只有這一個job在運行，此時它得到了全部集羣資源；當第二個小任務提交後，Fair調度器會分配一半資源給這個小任務（好比當前集羣只有一個任務A，那麼A擁有整個集羣資源，這時候又提交了一個任務B，這時候任務A和B平分資源），讓這兩個任務公平的共享集羣資源。須要注意的是，在Fair調度器中，從第二個任務提交到得到資源會有必定的延遲，由於它須要等待第一個任務釋放佔用的Container。小任務執行完成以後也會釋放本身佔用的資源，大任務又得到了所有的系統資源。最終的效果就是Fair調度器即獲得了高的資源利用率又能保證小任務及時完成。