hadoop 安裝問題總結

 安裝啓動步驟  [英語好的，直接手把手跟着來]

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html

問題

Diagnostics 「診斷」

Container [pid=41355,containerID=container_1451456053773_0001_01_000002] is running beyond physical memory limits. 
Current usage: 2.0 GB of 2 GB physical memory used; 5.2 GB of 4.2 GB virtual memory used. Killing container. 

只要在這個 of的 ' 2G physical' ＊ 2.1 大於後面須要的，便可！配置

yarn-site.xml

<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>8196</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>4096</value>
</property>

再具體的可參考

http://blog.chinaunix.net/uid-25691489-id-5587957.html

 

 

－－－－－－－－－－－－－－－－－－－－－ 安裝 hive 過程－－－－－－－

解決bug，第一是問題定位！    [有些是不夠具體的錯誤信息，而在其它log文件才顯示]

問題一：Unable to instantiate org.apache.hadoop.hive.metastore.....

直接 經過在hive shell 的異常信息並不能解決問題！   經過查看日誌tmp/${user.name}/hive.log」

 

問題二：當你肯定mysql-connector-java- jar 必定in lib裏的時候，

在

<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>

和

<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver </value>

這倆配置能找區別嗎？ 對，沒錯，找出來了，多了個空白，我的天，也許是由於空白留出個人空虛，抒情了個人寂寞！

繁忙的手打，盲目的信心，逝去的光陰，去百度如下

「 The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH 」

或者

The specified datastore driver ("com.mysql.jdbc.Driver ") was not found in the CLASSPATH     

     

 多了個空白，少了半天生命！

 

問題三：mysql Access denied for user root@localhost

用如下解決，在安裝後mysql後，須要對mysql 作root的密碼設置！ 而後在hive.site.xml對應就行了

# mysqladmin -uroot -p password 'newpassword'

 

 

問題四：hive JDODataStoreException: Error executing SQL query "select "DB_ID" from "DBS"" 錯誤，

hive 未初始化元數據庫報錯

 跟着來就能夠了，主要是./schematool -dbType mysql -initSchema