[大數據學習研究] 錯誤排查，Hadoop集羣部分DataNode不能啓動

 

錯誤現象

不知道什麼緣由，今天發現個人hadoop集羣啓動後datanode只有一臺了，個人集羣原本有三臺的，怎麼只剩一臺了呢？

 

用jps命令檢查一下，發現果真有兩臺機器的DataNode沒有啓動。

 

 

 

 

可能緣由：

1. 我以前遇到過的問題，因爲屢次運行hdfs namenode -format, 形成了clusterId不一致，檢查一下：進入到/opt/modules/hadoop-2.7.3/data/tmp/dfs/data/current目錄下，cat顯示一下VERSION文件的內容，檢查集羣中的幾臺機器的ClusterID是否是一致。個人機器這三臺機器的clusterid是一致的，看起來沒問題。若是要是不一致的話，須要改過來，改爲一致的，而後用 hadoop-daemon.sh start datanode 就能夠啓動datanode了，個人不是這個問題引發的，還得繼續排查。

 

 

 

 

2. 不知道什麼緣由，仍是看看日誌，進入的出問題的機器上的logs目錄下，打開日誌文件，跳到最後，從後面往前看，終於在一堆INFO裏面看到一條ERROR：

[root@hadoop101 logs]# pwd
/opt/modules/hadoop-2.7.3/logs [root@hadoop101 logs]# vi hadoop-root-datanode-hadoop101.log

 

2019-10-14 14:25:22,376 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: RECEIVED SIGNAL 15: SIGTERM 

 

 

 

解決問題

什麼緣由引發的不清楚，放狗搜了一下，有人說重啓服務就行了，固然仍是要試一下這個重啓大法。關閉服務，再重啓一下相關服務，就解決了，好沒趣。

stop-all.sh
等帶完成
start-dfs.sh

start-yarn.sh

 

另外，這個帖子裏說調用一下hadoop dfsadmin -refreshNodes就行了，但我沒用上，反正先重啓就搞定了，要還有下次的話再試試吧。