Hadoop/HIVE錯誤解決方案彙總 Hadoop/HIVE錯誤解決方案彙總

Hadoop/HIVE錯誤解決方案彙總

1.Retrying connect to server: localhost/127.0.0.1:9000.

Call to localhost/127.0.0.1:9000 failed on connection exception: java.net.ConnectException: Connection refused

  緣由：hadoop未啓動或core-site.xml中配置錯誤

 

  解決方案：啓動hadoop或修改配置。

2.Exception in thread "main" java.io.IOException: Call to localhost/127.0.0.1:9000 failed on local exception: java.io.EOFException

報此錯說明客戶端hadoop版本和服務端hadoop版本不一致。修改客戶端引用hadoop的版本。

3. Cannot delete /home/hadoop/part. Name node is in safe mode.

 

 

說明Hadoop的NameNode處在安全模式下。 

那什麼是Hadoop的安全模式呢？ 

在分佈式文件系統啓動的時候，開始的時候會有安全模式，當分佈式文件系統處於安全模式的狀況下，文件系統中的內容不容許修改也不容許刪除，直到安全模式結 束。安全模式主要是爲了系統啓動的時候檢查各個DataNode上數據塊的有效性，同時根據策略必要的複製或者刪除部分數據塊。運行期經過命令也能夠進入 安全模式。在實踐過程當中，系統啓動的時候去修改和刪除文件也會有安全模式不容許修改的出錯提示，只須要等待一下子便可（18s)。 

 

NameNode在啓動的時候首先進入安全模式，若是datanode丟失的block達到必定的比例（1-dfs.safemode.threshold.pct），則系統會一直處於安全模式狀態即只讀狀態。

dfs.safemode.threshold.pct（缺省值0.999f）表示HDFS啓動的時候，若是DataNode上報的block個數達到了 元數據記錄的block個數的0.999倍才能夠離開安全模式，不然一直是這種只讀模式。若是設爲1則HDFS永遠是處於SafeMode。

下面這行摘錄自NameNode啓動時的日誌（block上報比例1達到了閥值0.9990）

The ratio of reported blocks 1.0000 has reached the threshold 0.9990. Safe mode will be turned off automatically in 18 seconds.

hadoop dfsadmin -safemode leave

有兩個方法離開這種安全模式

 1. 修改dfs.safemode.threshold.pct爲一個比較小的值，缺省是0.999。

 2. hadoop dfsadmin -safemode leave命令強制離開

http://bbs.hadoopor.com/viewthread.php?tid=61&extra=page=1

 

用戶能夠經過dfsadmin -safemode value   來操做安全模式，參數value的說明以下：

enter - 進入安全模式

leave - 強制NameNode離開安全模式

get -   返回安全模式是否開啓的信息

wait - 等待，一直到安全模式結束。

4. mismatched input 'from' expecting CharSetLiteral in character string literal:columnName包含特殊字符，加上``就能夠了

hive> select id,\`_bucketname\` from default__table02_table02_index__;
FAILED: Parse Error: line 1:26 cannot recognize input 'from' in select expression

hive> select id,`_bucketname` from default__table02_table02_index__;