二十6、Hadoop學習筆記————Hadoop Yarn的簡介複習

1. 介紹

YARN（Yet Another Resource Negotiator）是一個通用的資源管理平臺，可爲各種計算框架提供資源的管理和調度。 

以前有提到過，Yarn主要是爲了減輕Hadoop1中JobTracker的負擔，對其進行了解耦。如今一般都會使用Hadoop Yarn，由於其穩定性更加優秀，YARN是對Mapreduce V1重構獲得的，有時候也稱爲MapReduce V2。

2. YARN體系架構

首先，整個Hadoop Yarn和Hadoop1同樣，也是創建在hdfs分佈式文件系統上，hdfs是爲了集羣而生的，它依託於整個Hadoop集羣全部的硬盤容量。例如整個集羣有100臺服務器，每一個服務器有都有5T的容量，那麼整個hdfs最大能夠有500T容量（這裏只是打個比喻，由於服務器自己操做系統須要佔用空間，而且還須要安裝一些必要的組件，Hadoop自己程序也須要佔用空間，所以確定會小於500T）。用戶在使用hdfs文件系統的時候，須要先將本地的文件put到文件系統上，而後集羣才能使用這些數據，具體如何使用後續會有詳細的圖文講解。

YARN架構以下圖所示：

YARN整體上是Master/Slave結構，主要由ResourceManager、NodeManager、 ApplicationMaster和Container等幾個組件構成。

• ResourceManager(RM) 
  負責對各NM上的資源進行統一管理和調度。將AM分配空閒的Container運行並監控其運行狀態。對AM申請的資源請求分配相應的空閒Container。主要由兩個組件構成：調度器和應用程序管理器：

  1. 調度器(Scheduler)：調度器根據容量、隊列等限制條件（如每一個隊列分配必定的資源，最多執行必定數量的做業等），將系統中的資源分配給各個正在運行的應用程序。調度器僅根據各個應用程序的資源需求進行資源分配，而資源分配單位是Container，從而限定每一個任務使用的資源量。Shceduler不負責監控或者跟蹤應用程序的狀態，也不負責任務由於各類緣由而須要的重啓（由ApplicationMaster負責）。總之，調度器根據應用程序的資源要求，以及集羣機器的資源狀況，爲應用程序分配封裝在Container中的資源。 
     調度器是可插拔的，例如CapacityScheduler、FairScheduler。具體看下文的調度算法。

  2. 應用程序管理器(Applications Manager)：應用程序管理器負責管理整個系統中全部應用程序，包括應用程序提交、與調度器協商資源以啓動AM、監控AM運行狀態並在失敗時從新啓動等，跟蹤分給的Container的進度、狀態也是其職責。

• NodeManager (NM) 
  NM是每一個節點上的資源和任務管理器。它會定時地向RM彙報本節點上的資源使用狀況和各個Container的運行狀態；同時會接收並處理來自AM的Container 啓動/中止等請求。

• ApplicationMaster (AM)： 
  用戶提交的應用程序均包含一個AM，負責應用的監控，跟蹤應用執行狀態，重啓失敗任務等。ApplicationMaster是應用框架，它負責向ResourceManager協調資源，而且與NodeManager協同工做完成Task的執行和監控。MapReduce就是原生支持的一種框架，能夠在YARN上運行Mapreduce做業。有不少分佈式應用都開發了對應的應用程序框架，用於在YARN上運行任務，例如Spark，Storm等。若是須要，咱們也能夠本身寫一個符合規範的YARN application。

• Container： 
  Container是YARN中的資源抽象，它封裝了某個節點上的多維度資源，如內存、CPU、磁盤、網絡等，當AM向RM申請資源時，RM爲AM返回的資源即是用Container 表示的。 YARN會爲每一個任務分配一個Container且該任務只能使用該Container中描述的資源。

3. YARN應用工做流程

以下圖所示用戶向YARN中提交一個應用程序後，YARN將分兩個階段運行該應用程序：

• 啓動AM ，以下步驟1~3；

• 由AM建立應用程序爲它申請資源並監控它的整個運行過程，直到運行完成，以下步驟4~7。

YARN應用工做流程圖

一、用戶向YARN中提交應用程序，其中包括AM程序、啓動AM的命令、命令參數、用戶程序等；事實上，須要準確描述運行ApplicationMaster的unix進程的全部信息。提交工做一般由YarnClient來完成。

二、RM爲該應用程序分配第一個Container，並與對應的NM通訊，要求它在這個Container中啓動AM；

三、AM首先向RM註冊，這樣用戶能夠直接經過RM査看應用程序的運行狀態，運行狀態經過 AMRMClientAsync.CallbackHandler的getProgress() 方法來傳遞給RM。 而後它將爲各個任務申請資源，並監控它的運行狀態，直到運行結束，即重複步驟4〜7；

四、AM採用輪詢的方式經過RPC協議向RM申請和領取資源；資源的協調經過 AMRMClientAsync異步完成,相應的處理方法封裝在AMRMClientAsync.CallbackHandler中。

五、—旦AM申請到資源後，便與對應的NM通訊，要求它啓動任務；一般須要指定一個ContainerLaunchContext，提供Container啓動時須要的信息。

六、NM爲任務設置好運行環境(包括環境變量、JAR包、二進制程序等)後，將任務啓動命令寫到一個腳本中，並經過運行該腳本啓動任務；

七、各個任務經過某個RPC協議向AM彙報本身的狀態和進度，以讓AM隨時掌握各個任務的運行狀態，從而能夠在任務失敗時從新啓動任務；ApplicationMaster與NM的通訊經過NMClientAsync object來完成，容器的全部事件經過NMClientAsync.CallbackHandler來處理。例如啓動、狀態更新、中止等。

八、應用程序運行完成後，AM向RM註銷並關閉本身。

 

以後會繼續學習另外一個重要的zookeeper，這是Hadoop Ha模式最重要的一環。

筆者也是在分享中不斷的學習，若是你們有什麼建議或者疑問，歡迎一塊兒交流