運行sqoop2未能啓動

Sqoop是一個用來將Hadoop和關係型數據庫中的數據相互轉移的工具，能夠將一個關係型數據庫（例如 ： MySQL ,Oracle ,Postgres等）中的數據導進到Hadoop的HDFS中，也能夠將HDFS的數據導進到關係型數據庫中。

 

一、下載sqoop2的某個版本sqoop-1.99.6-bin-hadoop200.tar

二、解壓縮至/usr/local/sqoop 

三、修改文件server/conf中的catalina.properties，修改其中的common.loader屬性，

將hadoop安裝文件夾下share文件夾中的全部jar包所有引入。

即

common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/usr/lib/hadoop/*.jar,/usr/lib/hadoop/lib/*.jar,/usr/lib/hadoop-hdfs/*.jar,/usr/lib/hadoop-hdfs/lib/*.jar,/usr/lib/hadoop-mapreduce/*.jar,/usr/lib/hadoop-mapreduce/lib/*.jar,/usr/lib/hadoop-yarn/*.jar,/usr/lib/hadoop-yarn/lib/*.jar,/usr/lib/hive/lib/*.jar,
/usr/local/hadoop/share/hadoop/common/*.jar,
/usr/local/hadoop/share/hadoop/hdfs/*.jar,
/usr/local/hadoop/share/hadoop/httpfs/*.jar,
/usr/local/hadoop/share/hadoop/kms/*.jar/,
/usr/local/hadoop/share/hadoop/mapreduce/*.jar,
/usr/local/hadoop/share/hadoop/tools/*.jar,
/usr/local/hadoop/share/hadoop/yarn/*.jar

 

四、修改環境變量，在~/.bashrc中增長

export SQOOP_HOME=/usr/local/sqoop

export  PATH=$SQOOP_HOME/bin:$PATH

export CATALINA_HOME=$SQOOP_HOME/server

export LOGDIR=$SQOOP_HOME/logs

 

五、運行sqoop2-tool verify檢查配置文件是否正確。（我運行的時候提示了一堆錯誤，沒仔細看）

 

六、啓動sqoop server：sqoop2-server start

七、啓動sqoop client,進入shell環境：sqoop2-shell

Client鏈接到服務端：set server --host 127.0.0.1 --port 12000 --webapp sqoop

可用瀏覽器在12000端口查看。

 

server未能運行成功，12000端口沒法查看。

 

PS：問題已經解決了，用sqoop1解決的，可是坑爹的是，sqoop號稱支持postgresql，但實際上支持並不徹底，sqoop中不支持數據庫模式，因此就沒法訪問pg數據庫中的具體模式，要把pg中的數據導出來，只能把數據庫表移動到public模式裏面，訪問這個模式裏的表不須要填寫模式名。