hadoop的關鍵進程 分類： A1_HADOOP 2015-06-06 11:37 52人閱讀 評論(0) 收藏

hadoop集羣中主要進程有
master:   NameNode, ResourceManager,
slaves:   DataNode, NodeManager,  RunJar, MRAppMaster,YarnChild

其中 RunJar, MRAppMaster,YarnChild與隨着某個job的建立而建立，隨着job的完成而終止。它們的做用分別是：
RunJar：完成job的初始化，包括獲取jobID，將jar包上傳至hdfs等。
MRAppMaster：每一個job一個進程，主要跟蹤job的運行狀況，向RM申請資源等。
YarnChild：運行具體的map/reduce task。

job啓動過程：
ResourceManage，NodeManager->RunJar->MRAppMaster->YarnChild

job退出過程：
YarnChild->MRAppMaster->RunJar
即全部的map/reduce均完成後，MRAppMaster才退出，最後RunJar退出，job完成。


網上找到的一些示意圖：
圖1



圖2

版權聲明：本文爲博主原創文章，未經博主容許不得轉載。