HDFS核心工做原理繪圖剖析

hdfs的核心工做原理

namenode元數據管理要點

1.什麼是元數據？

        hdfs的目錄結構及每個文件的塊信息（塊的id，塊的副本數量，塊的存放位置<datanode>）

2.元數據由誰負責管理？

        namenode

3.namenode把元數據記錄在哪裏？

       namenode的實時的完整的元數據存儲在內存中；

       namenode還會在磁盤中（dfs.namenode.name.dir）存儲內存元數據在某個時間點上的鏡像文件；

       namenode會把引發元數據變化的客戶端操做記錄在edits日誌文件中；

secondarynamenode會按期從namenode上下載fsimage鏡像和新生成的edits日誌，而後加載fsimage鏡像到內存中，而後順序解析edits文件，對內存中的元數據對象進行修改（整合） 整合完成後，將內存元數據序列化成一個新的fsimage，並將這個fsimage鏡像文件上傳給namenode

上述過程叫作：checkpoint操做 提示：secondary namenode每次作checkpoint操做時，都須要從namenode上下載上次的fsimage鏡像文件嗎？ 第一次checkpoint須要下載，之後就不用下載了，由於本身的機器上就已經有了。

namenode元數據管理示意圖

客戶端寫數據到HDFS流程圖

客戶端從HDFS中讀取數據流程圖

版權@須臾之餘https://my.oschina.net/u/3995125