hadoop jar x.jar 執行過程

hadoop jar  x.jar  執行過程

 

Yarn框架執行內容

1，job.waitforcompletion() 啓動 Runjar 進程  -> Resourcemanage申請一個job ->返回一個 job相關資源提交路徑和jobID  

2，Runjar 向指定路徑提交相關資源，並將提交結果返回給ResourceManage。

3，ResourceManage將Job加入到任務隊列。NodeManage經過心跳機制領取相關任務。

4，NodeManage會爲任務產生一個容器Container，這個容器包含資源（cpu，內存，磁盤I/O，網絡等）；

5，啓動mrappmaster。

MapReduce框架

1，mrAppmaster 註冊到ResourceManage註冊信息。返回相關資源所在那個節點。

2，在相關容器中啓動Map任務進程被   稱爲YarnChild，mrAppmaster不斷監控。

3，mrAppmaster啓動ReduceTask  

4，mrAppmaster將運行信息返回給ResourceManage，註銷本身，ResourceManage回收資源。 

 

mrAppmaster 和YarnChild 是動態產生的。