hadoop相關進程介紹

1.NameNode:

    至關於一個領導者，負責調度 ，好比你須要存一個1280m的文件

    若是按照128m分塊 那麼namenode就會把這10個塊（這裏不考慮副本）

    分配到集羣中的datanode上並記錄對於關係 。當你要下載這個文件的時    候namenode就知道在那些節點上給你取這些數據了。它主要維護兩個    map 一個是文件到塊的對應關係 一個是塊到節點的對應關係。

2. secondarynamenode：

    它是namenode的一個快照，會根據configuration中設置的值來

    決定多少時間週期性的去cp一下namenode，記錄namenode中

    的metadata及其它數據    

3. NodeManager（NM）:

    是YARN中每一個節點上的代理，它管理Hadoop集羣中單個計算節點

    包括與ResourceManger保持通訊，監督Container的生命週期管理，

    監控每一個Container的資源使用（內存、CPU等）狀況，追蹤節點健

    康情況，管理日誌和不一樣應用程序用到的附屬服務（auxiliary service）

4.DataNode:

      a.DataNode的須要完成的首要任務是K-V存儲

      b.完成和namenode 通訊 ，這個經過IPC 心跳鏈接實現。

         此外還有和客戶端 其它datanode以前的信息交換

      c.完成和客戶端還有其它節點的大規模通訊，這個須要直接

         經過socket 協議實現。

    

5.ResourceManager:

    在YARN中，ResourceManager負責集羣中全部資源的統一管理和分配，它接收來自各個節點（NodeManager）的資源彙報信息，並把這些信息按照必定的策略分配給各個應用程序（其實是ApplicationManager）

RM與每一個節點的NodeManagers (NMs)和每一個應用的ApplicationMasters (AMs)一塊兒工做。

    a.NodeManagers 遵循來自ResourceManager的指令來管理單一節點上的可用資源。

    b.ApplicationMasters負責與ResourceManager協商資源與NodeManagers合做啓動容器

6.Hadoop2 MR-JobHistory服務介紹

1）MR-JobHistory服務目標

主要是向用戶提供歷史的mapred Job 查詢

詳細解釋：

a）在運行MR Job時，MR 的 ApplicationMaster會根據mapred-site.xml配置文件中的配置，將MR Job的job history信息保存到指定的hdfs路徑（首先保存到臨時目錄，而後mv到最終目錄）

b）若是在yarn-site.xml中，沒有配置nodemanage的LogAggregation功能，則historyserver沒法提供mr日誌明細查詢的功能（在提交mr job時，yarn和mapred的配置都是必須的）

c）historyserver向外提供兩個接口，web接口能夠提供jobhistory和明細日誌查詢的功能，而restApi只提供jobhistory查詢的功能