Hadoop的namenode的管理機制，工做機制和datanode的工做原理

HDFS前言：

　　1） 設計思想

　　　　分而治之：將大文件、大批量文件，分佈式存放在大量服務器上，以便於採起分而治之的方式對海量數據進行運算分析；

　　2）在大數據系統中做用：

　　　　爲各種分佈式運算框架（如：mapreduce，spark，tez，……）提供數據存儲服務

　　3）重點概念：文件切塊，副本存放，元數據

　　4）、NameNode節點：由core-site.xml配置指定（name=fs.defaultFS,value=hdfs://slaver1:8020）。

　　　　  DataNode/NodeManager節點：由slavers文件指定。

　　　　  SecondaryNameNode節點：由hdfs-site.xml文件指定（name=dfs.namenode.secondary.http-address,value=slaver1:50090）

　　　　 ResourceManager節點：在yarn-site.xml文件中指定（name=yarn.resourcemanager.hostname,value=slaver1）。

　　　　 historyServer節點：在mapred-site.xml配置文件裏面修改。

1：分佈式文件系統（Distributed File System）：

（1）：數據量愈來愈多，在一個操做系統管轄的範圍存不下了，那麼就分配到更多的操做系統管理的磁盤中，可是不方便管理和維護，所以迫切須要一種系統來管理多臺機器上的文件，這就是分佈式文件管理系統 。
（2）：是一種容許文件經過網絡在多臺主機上分享的文件系統，可以讓多機器上的多用戶分享文件和存儲空間。
（3）：通透性。讓其實是經過網絡來訪問文件的動做，由程序與用戶看來，就像是訪問本地的磁盤通常。
（4）：容錯。即便系統中有某些節點脫機，總體來講系統仍然能夠持續運做而不會有數據損失。
（5）：分佈式文件管理系統不少，hdfs只是其中一種。適用於一次寫入屢次查詢的狀況，不支持併發寫狀況，小文件不合適。

2：Hadoop最擅長的是（離線 ）日誌分析   

（1）：HDFS----》海量數據的存儲，負責文件讀寫。

（2）：MapReduce----》海量數據的分析。

（3）：YARN----》資源管理調度，負責爲mapreduce程序分配硬件資源。

3：HDFS的Shell

（1）：調用文件系統(FS)Shell命令應使用 bin/hadoop fs 的形式。
（2）：全部的FS shell命令使用URI路徑做爲參數。
　　　URI格式是scheme://authority/path。HDFS的scheme是hdfs，對本地文件系統，scheme是file。其中scheme和authority參數都是可選的，若是未加指定，就會使用配置中指定的默認scheme。
　　　例如：/parent/child能夠表示成hdfs://namenode:namenodePort/parent/child，或者更簡單的/parent/child（假設配置文件是namenode:namenodePort）
（3）：大多數FS Shell命令的行爲和對應的Unix Shell命令相似。

4：HDFS fs命令

（1）-help [cmd]    //顯示命令的幫助信息
（2）-ls(r) <path>    //顯示當前目錄下全部文件
（3）-du(s) <path>    //顯示目錄中全部文件大小
（4）-count[-q] <path>    //顯示目錄中文件數量
（5）-mv <src> <dst>    //移動多個文件到目標目錄
（6）-cp <src> <dst>    //複製多個文件到目標目錄
（7）-rm(r)        //刪除文件(夾)
（8）-put <localsrc> <dst>    //本地文件複製到hdfs
（9）-copyFromLocal    //同put
（10）-moveFromLocal    //從本地文件移動到hdfs
（11）-get [-ignoreCrc] <src> <localdst>    //複製文件到本地，能夠忽略crc校驗
（12）-getmerge <src> <localdst>        //將源目錄中的全部文件排序合併到一個文件中
（13）-cat <src>    //在終端顯示文件內容
（14）-text <src>    //在終端顯示文件內容
（15）-copyToLocal [-ignoreCrc] <src> <localdst>    //複製到本地
（16）-moveToLocal <src> <localdst>
（17）-mkdir <path>    //建立文件夾
（18）-touchz <path>    //建立一個空文件

5：HDFS的Shell命令練習

（1）#hadoop fs -ls /  查看HDFS根目錄
（2）#hadoop fs -mkdir /test 在根目錄建立一個目錄test
（3）#hadoop fs -mkdir /test1 在根目錄建立一個目錄test1
（4）#hadoop fs -put ./test.txt /test　或#hadoop fs -copyFromLocal ./test.txt /test
（5）#hadoop fs -get /test/test.txt . 或#hadoop fs -getToLocal /test/test.txt .
（6）#hadoop fs -cp /test/test.txt /test1
（7）#hadoop fs -rm /test1/test.txt
（8）#hadoop fs -mv /test/test.txt /test1
（9）#hadoop fs -rmr /test1  

6：HDFS架構

（1）NameNode
（2）DataNode
（3）Secondary NameNode

7：NameNode

（1）是整個文件系統的管理節點。它維護着整個文件系統的文件目錄樹，文件/目錄的元信息和每一個文件對應的數據塊列表。接收用戶的操做請求。
（2）文件包括：
fsimage:元數據鏡像文件。存儲某一時段NameNode內存元數據信息。
edits:操做日誌文件。
fstime:保存最近一次checkpoint的時間
（3）以上這些文件是保存在linux的文件系統中。

（4）、NameNode是主節點，存儲文件的元數據，如文件名，文件目錄結構，文件屬性（生成事件，副本數，文件權限），以及每一個文件的塊列表和塊所在的DataNode信息等等。

 （5）、Namenode是一箇中心服務器，單一節點，負責管理文件系統的名字空間，以及客戶端對文件的訪問。文件操做，NameNode負責文件元數據的操做，DataNode負責處理文件內容的讀寫請求，跟文件內容相關的數據流不通過NameNode，只會詢問它跟那個DataNode聯繫，不然NameNode會成爲系統的瓶頸。副本存放在那些DataNode上由NameNode來控制，根據全局狀況作出塊放置決定，讀取文件時候NameNode儘可能讓用戶先讀取最近的副本，下降帶塊消耗和讀取延時。NameNode全權管理數據塊的複製。它週期性的從集羣中每一個DataNode接受心跳信號和塊狀態報告（Blocreport）。接受到心跳信號意味着該DataNode節點正常工做。塊狀態報告包含一個該DataNode上全部數據塊的列表。

8：NameNode的工做特色

（1）Namenode始終在內存中保存metedata，用於處理「讀請求」
（2）到有「寫請求」到來時，namenode會首先寫editlog到磁盤，即向edits文件中寫日誌，成功返回後，纔會修改內存，而且向客戶端返回
（3）Hadoop會維護一個fsimage文件，也就是namenode中metedata的鏡像，可是fsimage不會隨時與namenode內存中的metedata保持一致，而是每隔一段時間經過合併edits文件來更新內容。Secondary namenode就是用來合併fsimage和edits文件來更新NameNode的metedata的。

9：SecondaryNameNode

（1）HA的一個解決方案。但不支持熱備。配置便可。
（2）執行過程：從NameNode上下載元數據信息（fsimage,edits），而後把兩者合併，生成新的fsimage，在本地保存，並將其推送到NameNode，替換舊的fsimage.
（3）默認在安裝在NameNode節點上，但這樣...不安全！

（4）、用來監控hdfs狀態的輔助後臺程序，每隔一段事件獲取hdfs元數據的快照。

10：secondary namenode的工做流程

（1）secondary通知namenode切換edits文件
（2）secondary從namenode得到fsimage和edits(經過http)
（3）secondary將fsimage載入內存，而後開始合併edits
（4）secondary將新的fsimage發回給namenode
（5）namenode用新的fsimage替換舊的fsimage

11：何時checkpiont

（1）fs.checkpoint.period 指定兩次checkpoint的最大時間間隔，默認3600秒。

（2）fs.checkpoint.size    規定edits文件的最大值，一旦超過這個值則強制checkpoint，無論是否到達最大時間間隔。默認大小是64M。

12：NameNode和SecondNameNode之間的聯繫

 13：Datanode

（1）提供真實文件數據的存儲服務。
（2）文件塊（block）：最基本的存儲單位。對於文件內容而言，一個文件的長度大小是size，那麼從文件的０偏移開始，按照固定的大小，順序對文件進行劃分並編號，劃分好的每個塊稱一個Block。HDFS默認Block大小是128MB，以一個256MB文件，共有256/128=2個Block.
dfs.block.size
（3）不一樣於普通文件系統的是，HDFS中，若是一個文件小於一個數據塊的大小，並不佔用整個數據塊存儲空間
（4）Replication。多複本。默認是三個。hdfs-site.xml的dfs.replication屬性。

（5）、DataNode在本地文件系統存儲文件塊數據，以及塊數據的校驗和。

（6）、DataNode，一個數據塊在DataNode以文件存儲在磁盤上，包括兩個文件，一個是數據自己，一個是元數據包括數據塊的長度，塊數據的校驗和，以及時間戳。DataNode啓動後NameNode註冊，經過後，週期性（1小時）的向NameNode上報全部的塊信息。心跳是每3秒一次，心跳返回結果帶有NameNode給該DataNode的命令如複製塊數據到另外一臺機器，或者刪除某個數據塊。若是超過10分鐘沒有收到某個DataNode的心跳，則認爲該節點不可用。集羣運行中能夠安全加入和退出一些機器。

14：Remote Procedure Call

（1）RPC——遠程過程調用協議，它是一種經過網絡從遠程計算機程序上請求服務，而不須要了解底層網絡技術的協議。RPC協議假定某些傳輸協議的存在，如TCP或UDP，爲通訊程序之間攜帶信息數據。在OSI網絡通訊模型中，RPC跨越了傳輸層和應用層。RPC使得開發包括網絡分佈式多程序在內的應用程序更加容易。

（2）RPC採用客戶機/服務器模式。請求程序就是一個客戶機，而服務提供程序就是一個服務器。首先，客戶機調用進程發送一個有進程參數的調用信息到服務進程，而後等待應答信息。在服務器端，進程保持睡眠狀態直到調用信息的到達爲止。當一個調用信息到達，服務器得到進程參數，計算結果，發送答覆信息，而後等待下一個調用信息，最後，客戶端調用進程接收答覆信息，得到進程結果，而後調用執行繼續進行。

（3）hadoop的整個體系結構就是構建在RPC之上的(見org.apache.hadoop.ipc)。

15：HDFS讀過程

（1）初始化FileSystem，而後客戶端(client)用FileSystem的open()函數打開文件
（2）FileSystem用RPC調用元數據節點，獲得文件的數據塊信息，對於每個數據塊，元數據節點返回保存數據塊的數據節點的地址。
（3）FileSystem返回FSDataInputStream給客戶端，用來讀取數據，客戶端調用stream的read()函數開始讀取數據。
（4）DFSInputStream鏈接保存此文件第一個數據塊的最近的數據節點，data從數據節點讀到客戶端(client)
（5）當此數據塊讀取完畢時，DFSInputStream關閉和此數據節點的鏈接，而後鏈接此文件下一個數據塊的最近的數據節點。
（6）當客戶端讀取完畢數據的時候，調用FSDataInputStream的close函數。
（7）在讀取數據的過程當中，若是客戶端在與數據節點通訊出現錯誤，則嘗試鏈接包含此數據塊的下一個數據節點。
（8）失敗的數據節點將被記錄，之後再也不鏈接。

16：HDFS寫過程

（1）初始化FileSystem，客戶端調用create()來建立文件
（2）FileSystem用RPC調用元數據節點，在文件系統的命名空間中建立一個新的文件，元數據節點首先肯定文件原來不存在，而且客戶端有建立文件的權限，而後建立新文件。
（3）FileSystem返回DFSOutputStream，客戶端用於寫數據，客戶端開始寫入數據。
（4）DFSOutputStream將數據分紅塊，寫入data queue。data queue由Data Streamer讀取，並通知元數據節點分配數據節點，用來存儲數據塊(每塊默認複製3塊)。分配的數據節點放在一個pipeline裏。Data Streamer將數據塊寫入pipeline中的第一個數據節點。第一個數據節點將數據塊發送給第二個數據節點。第二個數據節點將數據發送給第三個數據節點。
（5）DFSOutputStream爲發出去的數據塊保存了ack queue，等待pipeline中的數據節點告知數據已經寫入成功。
（6）當客戶端結束寫入數據，則調用stream的close函數。此操做將全部的數據塊寫入pipeline中的數據節點，並等待ack queue返回成功。最後通知元數據節點寫入完畢。
（7）若是數據節點在寫入的過程當中失敗，關閉pipeline，將ack queue中的數據塊放入data queue的開始，當前的數據塊在已經寫入的數據節點中被元數據節點賦予新的標示，則錯誤節點重啓後可以察覺其數據塊是過期的，會被刪除。失敗的數據節點從pipeline中移除，另外的數據塊則寫入pipeline中的另外兩個數據節點。元數據節點則被通知此數據塊是複製塊數不足，未來會再建立第三份備份。

 17：HDFS的架構

（1）主從結構
　　主節點， namenode
　　從節點，有不少個: datanode
（2）namenode負責：
　　接收用戶操做請求
　　維護文件系統的目錄結構
　　管理文件與block之間關係，block與datanode之間關係
（3）datanode負責：
　　存儲文件
　　文件被分紅block存儲在磁盤上
　　爲保證數據安全，文件會有多個副本

18：Hadoop部署方式

（1）本地模式
（2）僞分佈模式
（3）集羣模式

19：Hadoop的特色

（1）擴容能力（Scalable）：能可靠地（reliably）存儲和處理千兆字節（PB）數據。
（2）成本低（Economical）：能夠經過普通機器組成的服務器羣來分發以及處理數據。這些服務器羣總計可達數千個節點。
（3）高效率（Efficient）：經過分發數據，hadoop能夠在數據所在的節點上並行地（parallel）處理它們，這使得處理很是的快速。
（4）可靠性（Reliable）：hadoop能自動地維護數據的多份副本，而且在任務失敗後能自動地從新部署（redeploy）計算任務。

 20：HDFS的概念和特性：

　　1）首先，它是一個文件系統，用於存儲文件，經過統一的命名空間——目錄樹來定位文件

　　2）其次，它是分佈式的，由不少服務器聯合起來實現其功能，集羣中的服務器有各自的角色；

　　3）重要特性以下：

　　　　（1）HDFS中的文件在物理上是分塊存儲（block），塊的大小能夠經過配置參數( dfs.blocksize)來規定，默認大小在hadoop2.x版本中是128M，老版本中是64M

　　　　（2）HDFS文件系統會給客戶端提供一個統一的抽象目錄樹，客戶端經過路徑來訪問文件，形如：hdfs://namenode:port/dir-a/dir-b/dir-c/file.data

　　　　（3）目錄結構及文件分塊信息(元數據)的管理由namenode節點承擔

　　　　　　namenode是HDFS集羣主節點，負責維護整個hdfs文件系統的目錄樹，以及每個路徑（文件）所對應的block塊信息（block的id，及所在的datanode服務器）

　　　　（4）文件的各個block的存儲管理由datanode節點承擔

　　　　　　datanode是HDFS集羣從節點，每個block均可以在多個datanode上存儲多個副本（副本數量也能夠經過參數設置dfs.replication）

　　　　（5）HDFS是設計成適應一次寫入，屢次讀出的場景，且不支持文件的修改

　　注意：適合用來作數據分析，並不適合用來作網盤應用，由於，不便修改，延遲大，網絡開銷大，成本過高；

22：hadoop經常使用命令參數介紹：

-help             
功能：輸出這個命令參數手冊
-ls                  
功能：顯示目錄信息
示例： hadoop fs -ls hdfs://hadoop-server01:9000/
備註：這些參數中，全部的hdfs路徑均可以簡寫
-->hadoop fs -ls /   等同於上一條命令的效果
-mkdir              
功能：在hdfs上建立目錄
示例：hadoop fs  -mkdir  -p  /aaa/bbb/cc/dd
-moveFromLocal            
功能：從本地剪切粘貼到hdfs
示例：hadoop  fs  - moveFromLocal  /home/hadoop/a.txt  /aaa/bbb/cc/dd
-moveToLocal              
功能：從hdfs剪切粘貼到本地
示例：hadoop  fs  - moveToLocal   /aaa/bbb/cc/dd  /home/hadoop/a.txt
--appendToFile  
功能：追加一個文件到已經存在的文件末尾
示例：hadoop  fs  -appendToFile  ./hello.txt  hdfs://hadoop-server01:9000/hello.txt
能夠簡寫爲：
Hadoop  fs  -appendToFile  ./hello.txt  /hello.txt

-cat  
功能：顯示文件內容  
示例：hadoop fs -cat  /hello.txt

-tail                 
功能：顯示一個文件的末尾
示例：hadoop  fs  -tail  /weblog/access_log.1
-text                  
功能：以字符形式打印一個文件的內容
示例：hadoop  fs  -text  /weblog/access_log.1
-chgrp
-chmod
-chown
功能：linux文件系統中的用法同樣，對文件所屬權限
示例：
hadoop  fs  -chmod  666  /hello.txt
hadoop  fs  -chown  someuser:somegrp   /hello.txt
-copyFromLocal    
功能：從本地文件系統中拷貝文件到hdfs路徑去
示例：hadoop  fs  -copyFromLocal  ./jdk.tar.gz  /aaa/
-copyToLocal      
功能：從hdfs拷貝到本地
示例：hadoop fs -copyToLocal /aaa/jdk.tar.gz
-cp              
功能：從hdfs的一個路徑拷貝hdfs的另外一個路徑
示例： hadoop  fs  -cp  /aaa/jdk.tar.gz  /bbb/jdk.tar.gz.2

-mv                     
功能：在hdfs目錄中移動文件
示例： hadoop  fs  -mv  /aaa/jdk.tar.gz  /
-get              
功能：等同於copyToLocal，就是從hdfs下載文件到本地
示例：hadoop fs -get  /aaa/jdk.tar.gz
-getmerge             
功能：合併下載多個文件
示例：好比hdfs的目錄 /aaa/下有多個文件:log.1, log.2,log.3,...
hadoop fs -getmerge /aaa/log.* ./log.sum
-put                
功能：等同於copyFromLocal
示例：hadoop  fs  -put  /aaa/jdk.tar.gz  /bbb/jdk.tar.gz.2

-rm                
功能：刪除文件或文件夾
示例：hadoop fs -rm -r /aaa/bbb/

-rmdir                 
功能：刪除空目錄
示例：hadoop  fs  -rmdir   /aaa/bbb/ccc
-df               
功能：統計文件系統的可用空間信息
示例：hadoop  fs  -df  -h  /

-du
功能：統計文件夾的大小信息
示例：
hadoop  fs  -du  -s  -h /aaa/*

-count         
功能：統計一個指定目錄下的文件節點數量
示例：hadoop fs -count /aaa/

-setrep                
功能：設置hdfs中文件的副本數量
示例：hadoop fs -setrep 3 /aaa/jdk.tar.gz
<這裏設置的副本數只是記錄在namenode的元數據中，是否真的會有這麼多副本，還得看datanode的數量>

23：Hdfs的工做機制：

（工做機制的學習主要是爲加深對分佈式系統的理解，以及加強遇到各類問題時的分析解決能力，造成必定的集羣運維能力）

　　注意：不少不是真正理解hadoop技術體系的人會經常以爲HDFS可用於網盤類應用，但實際並不是如此。要想將技術準確用在恰當的地方，必須對技術有深入的理解

概述
　　1：HDFS集羣分爲兩大角色：NameNode、DataNode
　　2：NameNode負責管理整個文件系統的元數據
　　3：DataNode 負責管理用戶的文件數據塊
　　4：文件會按照固定的大小（blocksize）切成若干塊後分布式存儲在若干臺datanode上
　　5：每個文件塊能夠有多個副本，並存放在不一樣的datanode上
　　6：Datanode會按期向Namenode彙報自身所保存的文件block信息，而namenode則會負責保持文件的副本數量
　　7：HDFS的內部工做機制對客戶端保持透明，客戶端請求訪問HDFS都是經過向namenode申請來進行

24：資源調度管理YARN的節點介紹：

1、ResourceManager節點：
　　處理客戶端請求，啓動和監控ApplicationMaster,監控NodeManager,資源分配和調度。
二、NodeManager:
　　單個節點上的資源管理，處理來自ResourceManager的命令，處理來自ApplicationMaster的命令。
三、ApplicationMaster:
　　數據切分，爲應用程序申請資源，分分配給內部任務，任務監控與容錯。
四、Container:
　　對任務運行環境的抽象，封裝了cpu,內存，等多爲資源以及環境變量，啓動命令等任務運行相關的信息。

 2五、離線計算框架，MapReduce:

1、將計算過程分爲兩個階段，Map階段和Reduce階段：
　　map階段並行處理輸入數據。
　　reduce階段對map結果進行彙總。
二、Shuffle鏈接Map和Reduce兩個階段：
　　Map Task將數據寫到本地磁盤。
　　Reduce Task從每一個Map Task上讀取一份數據。
三、僅僅適合離線批處理:
　　具備很好的容錯性和擴展性。
　　適合簡單的批處理任務。
四、缺點明顯：啓動開銷大，過多使用磁盤致使效率低下等等

 2六、數據損壞（corruption）處理：

1、當DataNode讀取block的時候，它會計算checksum。
二、若是計算後的checksum，與block建立時值不同，說明該block已經損壞。
三、Client讀取其餘DN上的block。
四、NameNode標記該塊已經損壞，而後複製block達到預期設計的文件備份數。
五、DataNode在其餘文件建立後三週驗證其checksum

 

 

待續......