Hadoop筆記 - Hadoop的組成

1、分佈式文件系統 - HDFS

　　1.NameNode（nn）：存儲文件的元數據，如文件名，文件目錄結構，文件屬性（生成時間、副本數、文件權限），以及每一個文件的塊列表和塊所在的DataNode。-------輕量級數據

　　2.DataNode（dn）：在本地文件系統存儲文件塊數據，以及塊數據的校驗和。 -------重量級數據

　　3.SecondaryNameNode（2nn）：用來監控HDFS狀態的輔助後臺程序，每隔一段時間獲取HDFS元數據的快照。 -------用於輔助NameNode

　　把HDFS比做一本書的話，NameNode就是這本書的目錄，DataNode就是這本書的內容部分，

2、資源調度框架 - YARN

　　ResourceManager（rm）：處理客戶端請求、啓動/監控ApplicationMaster、監控NodeManager、資源分配與調度；

　　NodeManager（nm）：單個節點上的資源管理、處理來自ResourceManager的命令、處理來自ApplicationMaster的命令；

　　ApplicationMaster：數據切分、爲以你敢用程序申請資源、並分配給內部任務、任務監控與容錯。

　　Container：對任務運行環境的抽象，封裝了CPU、內存等多維度的資源以及環境變量、啓動命令等任務運行相關的信息。

3、大數據計算引擎 - MapReduce

　　Map階段並處理輸入數據；

　　Reduce階段對Map結果進行彙總；