好程序員大數據獨家解析-hadoop五大節點

1.NameNode(管理節點)

    Namenode 管理着文件系統的命令空間(Namespace)。它維護着文件系統樹以及文件樹中全部的文件和文件夾的元數據(metadata)，元數據包括編輯日誌(edits)和鏡像文件。管理這些信息的文件有兩個，分別是Namespace 鏡像文件(fsimage)和編輯日誌文件，編輯日誌主要是記錄對hdfs進行的修改。鏡像文件主要是記錄hdfs的文件樹形結構。這些信息被Cache在RAM中，固然，這兩個文件也會被持久化存儲在本地硬盤。Namenode記錄着每一個文件中各個塊所在的數據節點的位置信息，可是他並不持久化存儲這些信息，由於這些信息會在系統啓動時從數據節點重建。

 2.DataNode(工做節點)

     Datanode是文件系統的工做節點，他們根據客戶端或者是namenode的調度存儲和檢索數據，而且按期向namenode發送他們所存儲的塊(block)的列表。沒有namenode,文件系統是沒法使用的。事實上,若是運行namenode服務的服務器壞掉,文件系統上的全部文件將會丟失。由於咱們不知道如何根據DataNode的塊進行重建文件。全部對NameNode進行容錯冗餘機制是很是重要的。

集羣中的從節點服務器都運行一個DataNode後臺程序，這個後臺程序負責把HDFS數據塊讀寫到本地的文件系統。當須要經過客戶端讀/寫某個數據時，先由NameNode告訴客戶端去哪一個DataNode進行具體的讀/寫操做，而後客戶端直接與這個DataNode服務器上的後臺程序進行通訊，而且對相關的數據塊進行讀/寫操做。

3.secondary NameNode(至關於MySQL數據庫中主從複製的從節點)

Secondary  NameNode是一個用來監控HDFS狀態的輔助後臺程序。和NameNode同樣，每一個集羣都有一個Secondary  NameNode，而且部署在一個單獨的服務器上。Secondary  NameNode不一樣於NameNode，它不接受或者記錄任何實時的數據變化，可是，它會與NameNode進行通訊，以便按期地保存HDFS元數據的快照。因爲NameNode是單點的，經過Secondary  NameNode的快照功能，能夠將NameNode的宕機時間和數據損失下降到最小。同時，若是NameNode發生問題，Secondary  NameNode能夠及時地做爲備用NameNode使用。

 4.ResourceManager

     ResourceManage 即資源管理，在YARN中，ResourceManager負責集羣中全部資源的統一管理和分配，它接收來自各個節點（NodeManager）的資源彙報信息，並把這些信息按照必定的策略分配給各個應用程序（其實是ApplicationManager）。

RM包括Scheduler（定時調度器）和ApplicationManager（應用管理器）Schedular負責嚮應用程序分配資源，它不作監控以及應用程序的狀態跟蹤，而且不保證會重啓應用程序自己或者硬件出錯而執行失敗的應用程序。ApplicationManager負責接受新的任務，協調並提供在ApplicationMaster容器失敗時的重啓功能.每一個應用程序的AM負責項Scheduler申請資源，以及跟蹤這些資源的使用狀況和資源調度的監控。

 5.Nodemanager

NM是ResourceManager在slave機器上的代理，負責容器管理，並監控它們的資源使用狀況，以及向ResourceManager/Scheduler提供資源使用報告。