Hadoop on Yarn 各組件詳細原理

　　運行在獨立的節點上的ResourceManager和NodeManager一塊兒組成了yarn的核心，構建了整個平臺。ApplicationMaster和相應的container一塊兒組成了一個Yarn的應用系統。

　　ResourceManager提供應用程序的調度，每一個應用程序由一個ApplicationMaster管理，以Container的形式請求每一個任務的計算資源。Container由ResourceMangaer調度，由每一個節點的NodeManager上進行本地的管理。

ResourceManager 組件

　　弄了一個大大的ResourceManager，醒目吧哈哈- -，扯淡到此爲止，ResourceManager是Master,仲裁集羣全部的可用資源，從而幫助管理運行在Yarn平臺上的分佈式應用程序。與其餘組建的協做包括：接收ApplicationMaster的資源請求，每一個節點的NodeManager從ResourceManager中獲取指令，管理單個節點上的可用資源。(ApplicationMaster的職責就是向ResourceManager申請資源而且和NodeManager一塊兒工做、啓動、監控和中止Container。

1、客戶端和ResourceManager交互

　　這裏細說Client端的話，ResourceManager主要是經過Client Service、Admininistration Service、Application ACL Manager ResourceManager Web Application及Web Service組件與客戶端交互。

　　一、Client Service  

　　這個服務實現了基本的客戶端到ResourceManager的接口ApplicationClientProtocol.該組件處理全部來自客戶端到ResourceManager的遠程過程調用(RPC)通訊。包括：應用程序提交、應用程序終止、獲取應用程序，隊列，集羣統計，用戶ACL及更多信息。在安全模式下，Client Service確保所來自用戶的請求都已經認證過(好比經過Kerberos)，對於不能直接經過Kerberos認證的客戶端，ClientRMService也提供了API，包括ResourceManager代理令牌，代理令牌是Kerberos認證客戶端的一種特殊對象，可以第一次安全的與ResourceManager通訊並傳遞給它本身額非認證的進程。

　　二、Administration Service

　　既然Client Service是負責處理通常用戶應用程序的提交或終止，爲了確保管理員的請求不會被通常用戶的請求餓死，提供了搞優先級的操做命令，這裏就多分離出了一個接口供管理員使用。經過ResourceManagerAdministrationProtocol來實現的通訊協議。包含的主要操做有：刷新隊列，從新分配隊列或改變隊列的屬性、刷新ResourceManager處理的節點列表，例如：增長新安裝的節點或退役現有節點等。

　　三、Application ACL Manager

　　相似客戶端和管理員等的請求這樣面向用戶的API，ResourceManager能夠經過設置配置屬性yarn.acl.enable爲true來啓動應用程序的ACL。查看訪問的ACL決定誰能夠經過RPC接口查看一些貨全部應用程序的相關細節，WEB UI服務及WEB服務，修改的ACL決定着哪些用戶能夠"修改"應用程序（殺死程序等)

　　當相同的ACL信息傳遞給ApplicationMaster,這樣ApplicationMaster可使用該信息讓用戶訪問ApplicationMaster內部運行的一些服務，做爲ContainerLaunchContext的一部分，當拉起一個容器時NodeManager也接收相同的ACL信息，而後使用它們控制針對應用程序/container的請求，主要包括它們的狀態、應用日誌等。

　　四、ResourceManager Web Application 和 Web Service

　　這個就是ResourceManager的一個web應用程序來輸出集羣的狀態信息、指標、節點活躍列表等，指向ApplicationMaster Web接口的超連接及一個調度的專用接口。(就是咱們在集羣配置中加入的web.address)

2、應用程序與ResourceManager的通訊

　　一旦應用程序經過ResourceManager中的面向客戶端的服務，它就會穿過ResourceManager的內部，負責拉起ApplicationMaster的狀態機。主要包括如下幾個通訊方面:

　　一、ApplicationMaster Service

　　該組件相應全部來自ApplicationMaster的請求，實現了ApplicationMasterProtocol協議，這是ApplicationMaster與ResourceManager通訊的惟一協議。主要包括如下任務：註冊新的ApplicationMaster、來自任意正在結束的ApplicationMaster的終止/取消註冊請求、認證來自不一樣ApplicaitonMaster的全部請求，確保合法的ApplicationMaster發送的請求傳遞給ResourceManager中的應用程序對象、獲取來自全部運行ApplicationMaster的Container的分配和釋放請求、異步的轉發給Yarn調度器.

　　ApplicaitonMaster Service確保了任意時間點、任意ApplicaitionMaster只有一個線程能夠發送請求給ResourceManager，由於在ResourceManager上全部來自ApplicaitonMaster的RPC請求都串行化了。

　　二、ApplicationMaster 存活監控

　　這個監控器跟蹤每一個ApplicationMaster以及它的最後的心跳時間。可在配置文件中配置時間，在配置時間內沒有產生心跳的ApplicationMaster會被標記爲死亡,ResourceManager會從新調度這個應用程序，在一個新的container上運行一個新的ApplicaitonMaster實例，默認狀況下，最多容許兩次這樣的嘗試。

3、節點和ResourceManager 通訊

　　下列是ResourceManager的組件和運行在集羣節點上的NodeManager進行通訊。

　　一、ResourceManager Tracker Service

　　NodeManager發送心跳給ResourceManager，ResourceManager的該組件負責相應來自全部節點的RPC。實現了ResourceTracker接口與全部NodeManager的通訊。主要負責：註冊新節點、接收前面註冊節點的心跳、確保合法的節點能夠和ResourceManager通訊。Reource Tracker Service轉發一個合法的心跳給YARN調度器，YARN調度器隨後根據節點的空閒資源及不一樣應用程序的資源請求作調度決定。

　　二、NodeManagers 存活監控

　　爲跟蹤活躍的節點和肯定已死的節點，該組件跟蹤每個節點的標識符（ID）和它最後的心跳時間。

　　三、Nodes-List Manager

　　是在ResourceManager內存中的一個集合，包括有效節點和被排除的節點。它也跟蹤由管理員明確退役的節點。

 

 

ApplicationMaster 組件

　　ApplicationMaster負責管理已提交的應用程序的集合。在應用程序提交後，首先檢查其合法性，而後，肯定沒有其餘已提交的應用程序已經使用相同的ID.該組件還負責記錄和管理已結束的應用程序，過段時間纔會從ResourceManager的內存中清除。

1、ApplicationMaster Launcher

　　在Yarn中，每個其餘類型的Container的拉起都是由ApplicationMaster發起的，ApplicationMaster自己的Container是由ResourceManager申請，並在NodeManager上準備和拉起的。該組件維護一個線程池來設置環境，且和NodeManager通訊來拉起新提交應用程序的ApplicationMaster，或者由於某些緣由失敗的先前應用程序實例所失敗的ApplicationMaster。它也在以應用程序正常結束或者要強行終止時，負責告訴NodeManager來清理ApplicaitonMaster。（殺掉相應進程)

2、YarnScheduler

　　Yarn調度器負責給正在運行的應用程序分配資源，這些應用程序受到容量、隊列等各方面的限制。

3、ContainerAllocationExpirer

　　該組件負責確保全部分配的Container最終被ApplicationMaster使用，並在相應的NodeManager上拉起。

 

 

NodeManager 組件

　　NodeManager接受來自ApplicationMaster的啓動或中止Container的請求，管理Container是NodeManager的核心功能。在真正拉起一個Container以前，NodeManager會將全部須要的庫文件下載到本地，包括數據文件，可執行文件、tarball、JAR文件，shell腳本等待。這樣下載好的庫文件能夠經過本地應用級別緩存被同一應用的多個Container共享。

　　NodeManager內部也能夠劃分爲一些列嵌套組件，臥槽好多啊。。。

1、NodeStatusUpdater

 　　在NodeManager剛啓動時，NodeStatusUpdater組件會向ResourceManager註冊，發送本節點的可用資源，以及NodeManager的Web server和RPC Server的監聽端口。ResourceManager在註冊過程當中，向NodeManager發出安全相關的key，NodeManager將用這個KEY做爲ApplicationMaster的Container請求作認證。

二、ContainerManager

　　是NodeManager的核心管理組件。其中也包含許多子組件：RPC Server、資源本地化服務、PUBLIC資源的本地化等等。

具體組件就不一一列舉了。。。。太多了。。。。。。。

 

整個做業大致整體運行流程：

一、應用程序提交給ResourceManager。

二、ApplicationMaster啓動，並向ResourceManager註冊。

三、ApplicationMaster向ResourceManager請求Container執行實際的工做。

四、ApplicationMaster將從ResourceManager分配的Container信息(包括各類資源配置啊等信息）傳遞給NodeManager啓動。

五、隨之，計算過程在Container中進行，這些Container將與ApplicationMaster保持通訊，發送心跳等告知任務過程。

六、當應用程序完成後，Container被中止，ApplicationMaster從ResourceManager中註銷。