第123講：Hadoop集羣管理之Namenode目錄元數據結構詳解學習筆記

第123講：Hadoop集羣管理之Namenode目錄元數據結構詳解學習筆記

hadoop-2.x的集羣管理與hadoop-1.x有很大不一樣

hdfs-site.xml：

dfs.replication

dfs.namenode.name.dir  存放namenode元數據信息

能夠配置多個目錄，這些目錄徹底相同，一個損壞不影響hdfs上的數據。

hadoop-2.6.0/dfs/name/current就是存放namenode元數據信息的地方

fsimage是鏡像文件，包含了namenode全部的元數據信息。

VERSION中有namespaceID/clusterID/cTime/storagetype/bolckpoolID/layoutVersion

namespaceID是文件系統的惟一標識符，格式化文件系統後就會生成這個ID

clusterID是系統生成的集羣的ID;

cTime是namenode存儲系統建立是時間，第一次格式化系統就是0，再次格式化時就會更新;

toragetype說明文件存儲的是什麼系統存儲的信息，多是namenode/datanode

bolckpoolID是針對每個namespace對應的bolckpool的ID，包含存儲節點的IP等信息

seen_txid:存放transactionID,格式化文件系統後這個數字是0，表明一系列edits_*文件的尾數，namenode重啓時會循環從0001到seen_txid中的數字，hdfs重啓時會比對這個數字是否是edits文件的尾數，若是不是的話可能會有元數據丟失。

fsimage是整個namenode的鏡像，包含臨時文件edits。後面還會講解。

in_user.lock是由於咱們啓動了集羣。

 

以上內容是從王家林老師DT大數據課程第123講的學習筆記。
DT大數據微信公衆帳號：DT_Spark  

王家林老師QQ:1740415547 

王家林老師微信號：18610086859
 王家林的第一個中國夢：免費爲全社會培養100萬名優秀的大數據從業人員！
您能夠經過王家林老師的微信號18610086859發紅包捐助大數據、互聯網+、O2O、工業4.0、微營銷、移動互聯網等系列免費實戰課程， 目前已經發布的王家林免費視頻全集以下：

1，《大數據不眠夜：Spark內核天機解密（共100講）》: http://pan.baidu.com/s/1eQsHZAq

2，《Hadoop深刻淺出實戰經典》http://pan.baidu.com/s/1mgpfRPu 

3，《Spark純實戰公益大講壇》http://pan.baidu.com/s/1jGpNGwu 

4，《Scala深刻淺出實戰經典》http://pan.baidu.com/s/1sjDWG25 

5，《Docker公益大講壇》http://pan.baidu.com/s/1kTpL8UF 

6，《Spark亞太研究院Spark公益大講堂》http://pan.baidu.com/s/1i30Ewsd 

7，DT大數據夢工廠Spark、Scala、Hadoop的全部視頻、PPT和代碼在百度雲網盤的連接：

http://pan.baidu.com/share/home?uk=4013289088#category/type=0&qq-pf-to=pcqq.group 

王家林免費在51CTO發佈的1000集合大數據spark、hadoop、scala、docker視頻： 

1，《Scala深刻淺出實戰初級入門經典視頻課程》http://edu.51cto.com/lesson/id-66538.html 

2，《Scala深刻淺出實戰中級進階經典視頻課程》http://edu.51cto.com/lesson/id-67139.html 

3，《Akka深刻淺出實戰經典視頻課程》http://edu.51cto.com/lesson/id-77672.html 

4，《Spark亞太研究院決勝大數據時代公益大講堂》http://edu.51cto.com/lesson/id-30815.html 

5，《雲計算Docker虛擬化公益大講壇 》http://edu.51cto.com/lesson/id-61776.html 

6，《Spark 大講堂（純實戰手動操做）》http://edu.51cto.com/lesson/id-78653.html 

7，《Hadoop深刻淺出實戰經典視頻課程-集羣、HDFS、Yarn、MapReduce》http://edu.51cto.com/lesson/id-77141.html 

8，《從技術角度思考Hadoop究竟是什麼》http://edu.51cto.com/course/course_id-1151.html 

 

「DT大數據夢工廠」團隊第一個中國夢：免費爲社會培養100萬名優秀的大數據從業人員。天天早上4點起持續分享大數據、互聯網+、O2O、工業4.0、微營銷、移動互聯網等領域的

 

第123講視頻網站地址：

51CTO

http://edu.51cto.com/lesson/id-77802.html