Hadoop集羣平常運維

（一）備份namenode的元數據
namenode中的元數據很是重要，如丟失或者損壞，則整個系統沒法使用。所以應該常常對元數據進行備份，最好是異地備份。
一、將元數據複製到遠程站點
（1）如下代碼將secondary namenode中的元數據複製到一個時間命名的目錄下，而後經過scp命令遠程發送到其它機器

[plain] view plain copy 

1. #!/bin/bash  

2. export dirname=/mnt/tmphadoop/dfs/namesecondary/current/`date +%y%m%d%H`  

3. if [ ! -d ${dirname} ]  

4. then  

5. mkdir  ${dirname}  

6. cp /mnt/tmphadoop/dfs/namesecondary/current/*  ${dirname}  

7. fi  

8. scp -r ${dirname} slave1:/mnt/namenode_backup/  

9. rm -r ${dirname}  

（2）配置crontab，定時執行此項工做
0 0,8,14,20 * * * bash /mnt/scripts/namenode_backup_script.sh

二、在遠程站點中啓動一個本地namenode守護進程，嘗試加載這些備份文件，以肯定是否已經進行了正確備份。

（二）數據備份
對於重要的數據，不能徹底依賴HDFS，而是須要進行備份，注意如下幾點
（1）儘可能異地備份
（2）若是使用distcp備份至另外一個hdfs集羣，則不要使用同一版本的hadoop，避免hadoop自身致使數據出錯。

（三）文件系統檢查
按期在整個文件系統上運行HDFS的fsck工具，主動查找丟失或者損壞的塊。
建議天天執行一次。

[plain] view plain copy 

1. [jediael@master ~]$ hadoop fsck /  

2. ……省略輸出（如有錯誤，則在此外出現，不然只會出現點，一個點表示一個文件）……  

3. .........Status: HEALTHY  

4.  Total size:    14466494870 B  

5.  Total dirs:    502  

6.  Total files:   1592 (Files currently being written: 2)  

7.  Total blocks (validated):      1725 (avg. block size 8386373 B)  

8.  Minimally replicated blocks:   1725 (100.0 %)  

9.  Over-replicated blocks:        0 (0.0 %)  

10.  Under-replicated blocks:       648 (37.565216 %)  

11.  Mis-replicated blocks:         0 (0.0 %)  

12.  Default replication factor:    2  

13.  Average block replication:     2.0  

14.  Corrupt blocks:                0  

15.  Missing replicas:              760 (22.028986 %)  

16.  Number of data-nodes:          2  

17.  Number of racks:               1  

18. FSCK ended at Sun Mar 01 20:17:57 CST 2015 in 608 milliseconds  

19.   

20. The filesystem under path '/' is HEALTHY  

（1）若hdfs-site.xml中的dfs.replication設置爲3，而實現上只有2個datanode，則在執行fsck時會出現如下錯誤；
/hbase/Mar0109_webpage/59ad1be6884739c29d0624d1d31a56d9/il/43e6cd4dc61b49e2a57adf0c63921c09:  Under replicated blk_-4711857142889323098_6221. Target Replicas is 3 but found 2 replica(s).
注意，因爲原來的dfs.replication爲3，後來下線了一臺datanode，並將dfs.replication改成2，但原來已建立的文件也會記錄dfs.replication爲3，從而出現以上錯誤，並致使 Under-replicated blocks:       648 (37.565216 %)。

（2）fsck工具還能夠用來檢查一個文件包括哪些塊，以及這些塊分別在哪等

[plain] view plain copy 

1. [jediael@master conf]$ hadoop fsck /hbase/Feb2621_webpage/c23aa183c7cb86af27f15d4c2aee2795/s/30bee5fb620b4cd184412c69f70d24a7 -files -blocks -racks  

2.   

3. FSCK started by jediael from /10.171.29.191 for path /hbase/Feb2621_webpage/c23aa183c7cb86af27f15d4c2aee2795/s/30bee5fb620b4cd184412c69f70d24a7 at Sun Mar 01 20:39:35 CST 2015  

4. /hbase/Feb2621_webpage/c23aa183c7cb86af27f15d4c2aee2795/s/30bee5fb620b4cd184412c69f70d24a7 21507169 bytes, 1 block(s):  Under replicated blk_7117944555454804881_3655. Target Replicas is 3 but found 2 replica(s).  

5. 0. blk_7117944555454804881_3655 len=21507169 repl=2 [/default-rack/10.171.94.155:50010, /default-rack/10.251.0.197:50010]  

6.   

7. Status: HEALTHY  

8.  Total size:    21507169 B  

9.  Total dirs:    0  

10.  Total files:   1  

11.  Total blocks (validated):      1 (avg. block size 21507169 B)  

12.  Minimally replicated blocks:   1 (100.0 %)  

13.  Over-replicated blocks:        0 (0.0 %)  

14.  Under-replicated blocks:       1 (100.0 %)  

15.  Mis-replicated blocks:         0 (0.0 %)  

16.  Default replication factor:    2  

17.  Average block replication:     2.0  

18.  Corrupt blocks:                0  

19.  Missing replicas:              1 (50.0 %)  

20.  Number of data-nodes:          2  

21.  Number of racks:               1  

22. FSCK ended at Sun Mar 01 20:39:35 CST 2015 in 0 milliseconds  

23.   

24.   

25. The filesystem under path '/hbase/Feb2621_webpage/c23aa183c7cb86af27f15d4c2aee2795/s/30bee5fb620b4cd184412c69f70d24a7' is HEALTHY  

此命令的用法以下：

[plain] view plain copy 

1. [jediael@master ~]$ hadoop fsck -files  

2. Usage: DFSck <path> [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]  

3.         <path>  start checking from this path  

4.         -move   move corrupted files to /lost+found  

5.         -delete delete corrupted files  

6.         -files  print out files being checked  

7.         -openforwrite   print out files opened for write  

8.         -blocks print out block report  

9.         -locations      print out locations for every block  

10.         -racks  print out network topology for data-node locations  

11.                 By default fsck ignores files opened for write, use -openforwrite to report such files. They are usually  tagged CORRUPT or HEALTHY depending on their block allocation status  

12. Generic options supported are  

13. -conf <configuration file>     specify an application configuration file  

14. -D <property=value>            use value for given property  

15. -fs <local|namenode:port>      specify a namenode  

16. -jt <local|jobtracker:port>    specify a job tracker  

17. -files <comma separated list of files>    specify comma separated files to be copied to the map reduce cluster  

18. -libjars <comma separated list of jars>    specify comma separated jar files to include in the classpath.  

19. -archives <comma separated list of archives>    specify comma separated archives to be unarchived on the compute machines.  

20.   

21. The general command line syntax is  

22. bin/hadoop command [genericOptions] [commandOptions]  

詳細解釋請見《hadoop權威指南》P376

（四）均衡器
隨時時間推移，各個datanode上的塊分佈來愈來愈不均衡，這將下降MR的本地性，致使部分datanode相對更加繁忙。

均衡器是一個hadoop守護進程，它將塊從忙碌的DN移動相對空閒的DN，同時堅持塊複本放置策略，將複本分散到不一樣的機器、機架。

建議按期執行均衡器，如天天或者每週。

(1)經過如下命令運行均衡器

[plain] view plain copy 

1. [jediael@master log]$ start-balancer.sh  

2. starting balancer, logging to /var/log/hadoop/hadoop-jediael-balancer-master.out  

查看日誌以下：

[plain] view plain copy 

1. [jediael@master hadoop]$ pwd  

2. /var/log/hadoop  

3. [jediael@master hadoop]$ ls  

4. hadoop-jediael-balancer-master.log  hadoop-jediael-balancer-master.out  

5. [jediael@master hadoop]$ cat hadoop-jediael-balancer-master.log  

6. 2015-03-01 21:08:08,027 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node: /default-rack/10.251.0.197:50010  

7. 2015-03-01 21:08:08,028 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node: /default-rack/10.171.94.155:50010  

8. 2015-03-01 21:08:08,028 INFO org.apache.hadoop.hdfs.server.balancer.Balancer: 0 over utilized nodes:  

9. 2015-03-01 21:08:08,028 INFO org.apache.hadoop.hdfs.server.balancer.Balancer: 0 under utilized nodes:  

（2）均衡器將每一個DN的使用率與整個集羣的使用率接近，這個「接近」是經過-threashold參數指定的，默認是10%。
（3）不一樣節點之間複製數據的帶寬是受限的，默認是1MB/s，能夠經過hdfs-site.xml文件中的dfs.balance.bandwithPerSec屬性指定（單位是字節）。

（五）datanode塊掃描器
每一個datanode均會運行一個塊掃描器，按期檢測本節點上的全部塊，若發現存在錯誤（如檢驗和錯誤），則通知namenode，而後由namenode發起數據從新建立複本或者修復。
掃描週期由dfs.datanode.scan.period.hours指定，默認爲三週（504小時）。
經過地址如下地址查看掃描信息：
（1）http://datanote:50075/blockScannerReport
列出整體的檢測狀況

[plain] view plain copy 

1. Total Blocks                 :   1919  

2. Verified in last hour        :      4  

3. Verified in last day         :    170  

4. Verified in last week        :    535  

5. Verified in last four weeks  :    535  

6. Verified in SCAN_PERIOD      :    535  

7. Not yet verified             :   1384  

8. Verified since restart       :    559  

9. Scans since restart          :     91  

10. Scan errors since restart    :      0  

11. Transient scan errors        :      0  

12. Current scan rate limit KBps :   1024  

13. Progress this period         :    113%  

14. Time left in cur period      :  97.14%  

（2）http://123.56.92.95:50075/blockScannerReport?listblocks
列出全部的塊及最新驗證狀態
blk_8482244195562050998_3796 : status : ok     type : none   scan time : 0               not yet verified
blk_3985450615149803606_7952 : status : ok     type : none   scan time : 0               not yet verified
還沒有驗證的狀況如上。各字段意義可參考權威指南P379

參考文章 : http://blog.csdn.net/jediael_lu/article/details/44006629