Sqoop2安裝

下載

http://www-us.apache.org/dist/sqoop/ 
打開以上連接，開始下載sqoop2 
 
 
下載後獲得：sqoop-1.99.7-bin-hadoop200.tar.gz文件

其中sqoop1和sqoop2區別能夠參考如下連接 
重拾初心——Sqoop1和Sqoop2的刨析對比 
http://blog.csdn.net/gamer_gyt/article/details/55225700

安裝

安裝步驟參考官方文檔 
http://sqoop.apache.org/docs/1.99.7/admin/Installation.html

解壓tar包

將sqoop-1.99.7-bin-hadoop200.tar.gz上傳至服務器中，這裏安裝到/usr/local/hadoop/sqoop-1.99.7目錄中

1. # 拷貝tar包到/usr/local/hadoop/中
2. cp sqoop-1.99.7-bin-hadoop200.tar.gz /usr/local/hadoop/
3. # 解壓tar包
4. tar -xvf sqoop-1.99.7-bin-hadoop200.tar.gz
5. # 爲文件夾重命名
6. mv sqoop-1.99.7-bin-hadoop200 sqoop-1.99.7

配置sqoop2

1. 確保sqoop2所依賴的環境變量 
   sqoop2須要hadoop的依賴(HADOOP_COMMON, HADOOP_HDFS, HADOOP_MAPRED, HADOOP_YARN)，因此你的環境變量中須要存在以下的環境變量

1. export HADOOP_HOME=/..

或者

1. export HADOOP_COMMON_HOME=/...
2. export HADOOP_HDFS_HOME=/...
3. export HADOOP_MAPRED_HOME=/...
4. export HADOOP_YARN_HOME=/...

若是配置了HADOOP_HOME，則sqoop會自動尋找$HADOOP_HOME/share/common相應的目錄。

1. 配置sqoop2的環境變量 
   在/etc/profire文件中增長以下配置，注意SQOOP2_HOME的位置

1. #Sqoop配置
2. export SQOOP2_HOME=/usr/local/hadoop/sqoop-1.99.7
3. export CATALINA_BASE=$SQOOP2_HOME/server
4. #Sqoop外部jar包存放路徑，之後mysql-**.jar，odbc*.jar文件都放到extra-lib中便可
5. export SQOOP_SERVER_EXTRA_LIB=$SQOOP2_HOME/server/lib/extra-lib
6. export PATH=$PATH:$SQOOP2_HOME/bin

1. sqoop訪問hdfs的配置 

       由於sqoop訪問Hadoop的MapReduce使用的是代理的方式，必須在Hadoop的core-site.xml中配置所接受的proxy用戶和組， 在hadoop的core-site.xml中增長以下配置，其中sqoop2是代理的用戶和組的意思。表示運行hadoop的系統用戶名

1. <property>
2. <name>hadoop.proxyuser.root.hosts</name>
3. <value>*</value>
4. </property>
5. <property>
6. <name>hadoop.proxyuser.root.groups</name>
7. <value>*</value>
8. </property>

1. 配置sqoop訪問的hadoop配置文件的位置 
   在/usr/local/hadoop/sqoop-1.99.7/conf/sqoop.properties文件中，修改以下變量的值爲你hadoop配置文件目錄 
   

1. org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/usr/local/hadoop/hadoop-2.7.4/etc/hadoop

初始化sqoop倉庫

由於sqoop2中存儲着元數據信息，因此首次安裝時須要初始化倉庫

1. sqoop2-tool upgrade

初始化完成後，能夠作一次驗證

1. sqoop2-tool verify

當出現Verification was successful.字樣時，表示初始化成功。

啓動sqoop

執行sqoop2-server start啓動sqoop，同理。執行sqoop2-server stop會中止sqoop

1. sqoop2-server start

執行完以上命令後，啓動信息以下。 

而後執行jps命令查看啓動了哪些進程，能夠看到sqoop server只啓動了SqoopJettyServer進程。 

啓動sqoop客戶端

因爲我如今是僞分佈式，因此sqoop server和sqoop client都在一臺機器上，直接執行sqoop2-shell命令便可啓動sqoop客戶端 
 
能夠查看sqoop2的版本，執行show version --all命令

1. sqoop:000> show version --all
2. client version:
3. Sqoop1.99.7 source revision 435d5e61b922a32d7bce567fe5fb1a9c0d9b1bbb
4. Compiledby abefine on TueJul1916:08:27 PDT 2016
5. 0[main] WARN org.apache.hadoop.util.NativeCodeLoader-Unable to load native-hadoop library for your platform...using builtin-java classes where applicable
6. server version:
7. Sqoop1.99.7 source revision 435d5e61b922a32d7bce567fe5fb1a9c0d9b1bbb
8. Compiledby abefine on TueJul1916:08:27 PDT 2016
9. API versions:
10. [v1]
11. sqoop:000>