hadoop、hive、sqoop安裝備忘

因爲各版本之間兼容問題 ，這裏記下本次環境搭建遇到的各類問題。

版本：

    hadoop-2.6.0

    hive-1..2.1

    sqoop-1.99.7

簡單說明一下，而後再記錄各個模塊的問題。

hadoop目前最新版是2.7.0，新特性自行百度，起初爲了嚐鮮安裝了2.7.0，但在配合hive2.1.0的時候，hive可以建立、查詢、刪除表，可是insert、load報鏈接拒絕異常，估計是hive2.1.0使用了什麼命令去操做hadoop2.7.0，可是不兼容，進而致使命令拒絕引起的異常，故而將hive版本降至1.2.1問題解決。隨後使用sqoop1.99.7，在建立link沒問題，可是執行job時一樣出現鏈接拒絕異常，無奈，只能將hadoop版本將至2.6.0，降至2.6.0後，問題解決，而且mysql->hdfs、hdfs->mysql可以正常穩定運行，只有sqoop的增量導入暫時還沒看懂api，不過sqoop在把數據從mysql轉移到hdfs後，hive每次load都會移除已使用的文件。

下面說下遇到的問題，因爲當時沒記錄，這裏大概說一下：

hadoop

    一、免密注意修改hostname

    二、控制檯沒法顯示dataname、put/cat報錯，檢查防火牆是否關閉

    三、dataname鏈接不到namenode，檢查host，不要把127.0.0.1對應到hostname，不然9000端口會被綁定到127.0.0.1致使其它ip沒法訪問

    四、hadoop版本差別致使命令差別，實際運用時，若不懂，直接輸已知的命令，若不對，hadoop會提示新命令，而後給出api

hive

    hive問題沒有那麼多，主要注意版本兼容問題就行了，還有若是報錯，最後看下hadoop的日誌

sqoop

    跟hive同樣，注意版本兼容問題，還有建立link及job的時候，注意每一項參數什麼意思，好比hdfs的會填個uri，好比hdfs：//localhost：9000，那你在建立job的時候，在填地址的時候也要以這個開頭，不然報錯。這裏推薦兩篇博客，有助於sqoop的使用

http://blog.csdn.net/u012842205/article/details/52344196

http://blog.csdn.net/u012842205/article/details/52346595