Hadoop hdfs&mapreduce核心概念

一、HDFS（分佈式文件系統體系）

1.一、NameNode:（名稱節點）

        Hdfs的守護程序

        記錄文件是如何分割成數據塊的，以及這些數據塊被存儲到了哪些節點上

        對內存和I/O進行集中管理

        是個單點，發生故障將使集羣崩潰

1.二、SecondaryNamenode（輔助名稱節點）：發生故障進行人工的設置才能實現集羣崩潰的問題

        監控HDFS狀態的輔助後臺程序

        每一個集羣都有一個

        與NameNode進行通信，按期保存HDFS元數據快照

        與NameNode故障能夠做爲備用NameNode使用

1.三、DataName（數據節點）

        每臺服務器都運行一個

        負責把HDFS數據塊讀寫到本地文件系統

二、mapreduce

2.一、JobTracker（做業跟蹤器）

        用於處理做業（用戶提交代碼）的後臺程序

        決定由哪些文件參與處理，而後切割task並分配及誒單

        監控task，重啓失敗的task

         每一個集羣只有惟一的JobTracker，位於master節點

2.二、TaskTracker（任務跟蹤器）

        位於slave及誒單上，與datanode結合

        管理各自節點上的task(由Jobtracker分配)

        每一個節點只有一個tasktracker,但每個tasktracker能夠啓動多個jvm，用於並行執行map或reduce任務

        與jobtracker交互

master：運行namenode sencondarynode jobtrack的服務器

slave：運行datanode和tasktrack的服務器

    

        

MapReduce