Hadoop配置常見Log錯誤指導

Master節點Log篇

1.   WARN org.apache.hadoop.hdfs.server.common.Util: Path /usr/mywind/name should be specified as a URI in configuration files. Please update hdfs configuration.

問題定位：hdfs-site.xml

問題緣由：

1)   不合規範的URI格式

解決辦法：

1)   把dfs.namenode.name.dir、dfs.datanode.data.dir的原路徑格式如/usr/mywind/name改爲file:/usr/mywind/name，即便用徹底路徑。

2.   INFO org.apache.hadoop.ipc.Server: IPC Server handler 2 on 9000, call org.apache.hadoop.hdfs.protocol.ClientProtocol.addBlock from 192.168.8.184:39050 Call#6 Retry#0 java.io.IOException: File /hbase/.tmp/hbase.version could only be replicated to 0 nodes instead of minReplication (=1).  There are 0 datanode(s) running and no node(s) are excluded in this operation.

問題定位：datanode

問題緣由：

1)   datanode沒有啓動

解決辦法：

1)   去Slave節點查看Log，排除錯誤，確保datanode正確啓動起來（可經過jps命令查看啓動狀態）。

3.   WARN org.apache.hadoop.hdfs.server.common.Storage: Storage directory /mywind/name does not exist 2014-11-24 08:19:02,555 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /mywind/name is in an inconsistent state: storage directory does not exist or is not accessible.

問題定位：hdfs-site.xml

問題緣由：

1)   錯誤的URI格式

解決辦法：

1)   把dfs.namenode.name.dir、dfs.datanode.data.dir的原路徑格式如file://usr/mywind/name改爲file:/usr/mywind/name，即便用徹底路徑。

 

Slave節點Log篇

4.   WARN org.apache.hadoop.hdfs.server.common.Util: Path /usr/mywind/data should be specified as a URI in configuration files. Please update hdfs configuration.

問題定位：hdfs-site.xml

問題緣由：

1)   不合規範的URI格式

解決辦法：

2)   把dfs.namenode.name.dir、dfs.datanode.data.dir的原路徑格式如/usr/mywind/name改爲file:/usr/mywind/name，即便用徹底路徑。

 

5.   WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: slave1.mywind.com.cn/192.168.8.183:9000

問題定位：core-site.xml

問題緣由：

1)   不正確的HDFS地址

2)   Master節點或者Slave節點防火牆沒有關閉

解決辦法：

1)   把core-site.xml中的fs.defaultFS的value的IP或域名改爲主節點的IP地址或域名。

2)   使用telnet master 9000命令測試一下主節點的端口是否能夠鏈接，若是不能夠鏈接，則多是主節點或者從節點的防火牆啓用了，須要把它關閉。

 

6.   FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to master/192.168.8.184:9000. Exiting. java.io.IOException: Incompatible clusterIDs in /usr/mywind/data: namenode clusterID = CID-e6addb58-7fe2-47ea-9592-0033053a90f9; datanode clusterID = CID-d5961300-954e-4860-96b5-95b2b9634b77

問題定位：全部namenode目錄、全部datanode目錄、從節點臨時目錄

問題緣由：

1)   主節點的namenode clusterID與從節點的datanode clusterID不一致

2)   屢次格式化了namenode跟datanode以後的結果，格式化以後從節點生成了新的ID，形成不一致

解決辦法：

1)   在格式化以前，先把全部的服務停掉（stop-dfs.sh、stop-yarn.sh或者stop-all.sh），確保都停掉了以後，分別到全部節點的namenode目錄、datanode目錄、臨時目錄，把以上目錄裏面的全部內容都刪除掉。而後再從新啓動就能夠了。