hadoop學習筆記1---Hadoop體系介紹

一、Namenode

HDFS的守護進程

記錄文件時如何分割成數據塊的，以及這些數據塊被存儲到哪些節點上

對內存和I/O進行集中管理

是個單點，發生故障將使集羣崩潰

二、Secondary Namenode

監控HDFS狀態的輔助後臺程序

每一個集羣都有一個

與NameNode進行通信按期保存HDFS元數據快照

當NameNode故障能夠做爲備用NameNode使用

三、DataNode

每臺從服務器都運行一個

負責把HDFS數據塊讀寫到本地文件系統

四、JobTracker

用於處理做業（用戶提交代碼）的後臺程序

決定有哪些文件參與處理，而後切割task並分配節點

監控task，重啓失敗的task（於不一樣的幾點）

每一個集羣只有惟一一個JobTracker，位於Master節點

五、TaskTracker

位於slave節點上，與datanode結合（代碼與數據一塊兒的原則）

管理各自節點上的task（由jobtracker分配）

每一個節點只有一個tasktracker，但一個tasktracker能夠啓動多個JVM，用於並行執行map或reduce任務

與jobtracker交互

1.六、Master和Slave

Master：Namenode、Secondary Namenode、jobtracker。瀏覽器（用於觀看管理界面），其它Hadoop工具

Slave：Tasktracker、Datenode

Master不是惟一的