NodeManager概述(基本職能和內部架構)

概述

NodeManager是運行在單個節點上的代理,它須要與應用程序的的ApplicationMaster和集羣管理者ResourceManager交互: 從ApplicationMaster上接收有關Container的命令並執行之(好比啓動,中止Container); 向ResourceManager彙報各個Container運行狀態和節點健康情況,並領取有關Container的命令(好比清理Container)執行之

NodeManager是YARN中單個節點上的代理,它管理Hadoop集羣中單個計算節點,功能包括與ResourceManager保持通訊,管理Container的生命週期,監控每一個Container的資源使用(內存,CPU等)狀況,追蹤節點健康情況,管理日誌和不一樣應用程序用到的附屬服務

NodeManager基本職能

NodeManager需經過兩個RPC協議與ResourceManager服務和各個應用程序的ApplicationMaster交互

ResourceTrackerProtocol協議

NodeManager經過該RPC協議向ResourceManager註冊,彙報節點健康情況和Container運行狀態,並領取ResourceManager下達的命令,包括從新初始化,清理Container佔用資源等.在該RPC協議中,ResourceManager扮演RPC Server的角色,而NodeManager扮演RPC Client的角色

ResourceTrackerProtocol協議主要提供瞭如下兩個RPC函數

(1) registerNodeManager

NodeManager啓動時經過該RPC函數向ResourceManager註冊,註冊信息由RegisterNodeManagerRequest封裝的,包括以下三部份內容 :

• httpPort : 該NodeManager對外提供的HTTP端口號,ResourceManager會在界面上提供一個可直接訪問NodeManager Web界面的超連接
• nodeId : 該NodeManager所在的host和對外的RPC端口號
• totalResource : 該NodeManager所在節點總的可分配資源,當前支持內存和虛擬CPU兩種資源,管理員可經過參數yarn.nodemanager.resource.cpu-vcores和yarn.nodemanager.resource.memory-mb配置

ResourceManager將經過registerNodeManager函數向NodeManager返回一個RegisterNodeManagerResponse類型的對象,主要包含如下信息 :

• MasterKey : 新生成的Container Token和Node Token的Master Key
• NodeAction : ResourceManager向該NodeManager返回的下一步操做,主要包括NORMAL,RESYNC,SHUTDOWN三種,分別表示正常,從新同步信息和中止運行
• rmIdentifier : ResourceManager的標示符,NodeManager經過該標識符判斷ApplicationMaster發送的Container來自原始的仍是新啓動的ResourceManager
• diagnosticsMessage : NodeManager註冊失敗時,將收到一段診斷信息,告知具體的失敗緣由

(2) nodeHeartbeat

NodeManager啓動後,按期經過該RPC函數向ResourceManager彙報Container運行信息和節點健康情況,並領取新的命令,好比殺死一個Container

ContainerManagementProtocol協議

應用程序的ApplicationMaster經過該RPC協議向NodeManager發起針對Container的相關操做,包括啓動Container,殺死Container,獲取Container

ContainerManagementProtocol協議主要提供瞭如下三個RPC函數 :

• startContainer : ApplicationMaster經過該RPC要求NodeManager啓動一個Contaienr.該函數有一個StartContainerRequest類型的參數,封裝了Container啓動所需的本地資源,環境變量,執行命令,Token等信息.若是Container啓動成功,則該函數返回一個StartContainerResponse對象
• stopContainer : ApplicationMaster經過該RPC要求NodeManager中止(殺死)一個Container.該函數有一個StopContainerRequest類型的參數,用於指定待殺死的Container ID.若是Container被成功殺死,則該函數返回一個StopContainerResponse對象
• getContainerStatus : ApplicationMaster經過該RPC獲取一個Container的運行狀態.該函數參數類型爲GetContainerStatusRequest,封裝了目標Container的ID,返回值爲封裝了Container當前運行狀態的類型爲GetContainerStatusResponse的對象

NodeManager內部架構

NodeManager內部組織結構和主要模塊

• NodeStatusUpdater : NodeStatusUpdater是NodeManager與ResourceManager通訊的惟一通道
• ContainerManager : ContainerManager是NodeManager中最核心組件之一,它由多個子組件構成,每一個子組件負責一部分功能,協做共同管理運行在該節點上的全部Container.各個子組件以下
  • RPC Server : 該RPC Server實現了ContainerManagementProtocol協議,是ApplicationMaster與NodeManager通訊的惟一通道
  • ResourceLocalizationService : 負責Container所需資源的本地化.它可以按照描述從HDFS上下載Container所需的文件資源,並儘可能將它們分攤到各個磁盤上以防止出現訪問熱點.此外,它會爲下載的文件添加訪問控制限制,併爲之施加合適的磁盤空間使用份額
  • ContainersLauncher : 維護了一個線程池以並行完成Container相關操做,好比啓動或者殺死Container,其中啓動Container請求是由ApplicationMaster發起的,而殺死Container請求則可能來自ApplicationMaster或者ResourceManager
  • AuxServices : NodeManager容許用戶經過配置附屬服務的方式擴展本身的功能,這使得每一個節點能夠定製一些特定框架須要的服務
  • ContainersMonitor : ContainersMonitor負責監控Container的資源使用量
  • LogHandler : 一個可插拔組件,用戶可經過它控制Container日誌的保存方式,便是寫到本地磁盤上仍是將其打包後上傳到一個文件系統中
  • ContainerEventDispatcher : Container事件調度器,負責將ContainerEvent類型的事件調度給對應Application的狀態機ApplicationImpl
  • ApplicationEventDispatcher : Application事件調度器,負責將ApplicationEvent類型的事件調度給對應Application的狀態機ApplicationImpl
• ContainerExecutor : ContainerExecutor可與底層操做系統交互,安全存放Container須要的文件和目錄,進而以一種安全的方式啓動和清除Container對應的進程
• NodeHealthCheckerService : NodeHealthCheckerService經過週期性地運行一個自定義腳本和向磁盤寫文件檢查節點的健康情況,並將之經過NodeStatusUpdater傳遞給ResourceManager
• DeletionService : NodeManager將文件刪除功能服務化,即提供一個專門的文件刪除服務異步刪除失效文件,這樣可避免同步刪除文件帶來的性能開銷
• Security : 安全模塊是NodeManager中的一個重要模塊,包含兩部分
  • ApplicationACLsManager : NodeManager須要爲全部面向用戶的API提供安全檢查,如在Web UI上只能將Container日誌顯示給受權用戶.該組件爲每一個應用程序維護了一個ACL列表,一旦收到相似請求後會利用該列表對其進行驗證
  • ContainerTokenSecretManager : 檢查收到的各類訪問請求的合法性,確保這些請求操做已被ResourceManager受權
• WebServer : 經過Web界面向用戶展現該節點上全部應用程序運行狀態,Container列表,節點健康狀態和Container產生的日誌等信息

我天天會寫文章記錄學習之路,另外我本身整理了些學習資料,目前所有放在個人公衆號"SmallBird技術分享",加入咱們一塊兒學習交流,而且回覆’分享’會有各類技術資源驚喜等着你~