Hadoop集羣管理 Namenode的目錄數據結構

1、dfs目錄結構

[root@master hadoop]# pwd
/opt/hadoop-2.7.1/etc/hadoop

[root@master hadoop]# cat core-site.xml 
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/hadoop-2.7.1/tmp</value>
	</property>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://master.harry.com:9000</value>
	</property>
	
	<!-- HA-->
<!--
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>master.harry.com:2181</value>
	</property>
	<property>
		<name>ha.zookeeper.session-timeout.ms</name>
		<value>5000</value>
	</property>
	<property>
		<name>ha.zookeeper.parent-znode</name>
		<value>/hadoop-harry-ha</value>
	</property>
-->
</configuration>


[root@master tmp]# pwd
/opt/hadoop-2.7.1/tmp

[root@master tmp]# tree dfs/ -L 2
dfs/
|-- data
|   `-- current
`-- name
    `-- current

4 directories, 0 files

[root@master current]# pwd
/opt/hadoop-2.7.1/tmp/dfs/name/current

[root@master current]# ll
total 1076
-rw-r--r--. 1 root root     207 Oct 14 22:39 VERSION
-rw-r--r--. 1 root root   14381 Oct 14 23:33 edits_0000000000000000001-0000000000000000127
-rw-r--r--. 1 root root      42 Oct 15 00:33 edits_0000000000000000128-0000000000000000129
-rw-r--r--. 1 root root      42 Oct 15 01:33 edits_0000000000000000130-0000000000000000131
-rw-r--r--. 1 root root      42 Oct 15 02:33 edits_0000000000000000132-0000000000000000133
-rw-r--r--. 1 root root 1048576 Oct 15 02:33 edits_inprogress_0000000000000000134
-rw-r--r--. 1 root root    1809 Oct 15 01:33 fsimage_0000000000000000131
-rw-r--r--. 1 root root      62 Oct 15 01:33 fsimage_0000000000000000131.md5
-rw-r--r--. 1 root root    1809 Oct 15 02:33 fsimage_0000000000000000133
-rw-r--r--. 1 root root      62 Oct 15 02:33 fsimage_0000000000000000133.md5
-rw-r--r--. 1 root root       4 Oct 15 02:33 seen_txid

2、解析

edits_* 文件:當咱們對元數據進行修改時，如新增了block，新增了節點，等等，這樣對namespace等進行了修改，數據都會被臨時存放到edits文件中。

fsimage 文件：存放實際的namenode所管理的數據。按期的由secondary namenode和並edits文件和舊的fsimage文件而成的。

seen_txid：記錄最後一個edits文件的數字如 本例子中式134.由於edits文件最後到133.當系統重啓時，會檢查seen_txid和edits文件的最後數字，來表示是否存在元數據的缺失。

[root@master current]# cat seen_txid 
134

VERSION文件：

[root@master current]# cat VERSION 
#Wed Oct 14 22:39:48 PDT 2015
namespaceID=1916027777
clusterID=CID-f0ee4204-f7a1-4e8d-9799-bdd5e23259f1
cTime=0
storageType=NAME_NODE
blockpoolID=BP-1637593683-172.16.114.202-1444887588098
layoutVersion=-63