大數據實驗室（大數據基礎培訓）——Sqoop的安裝、配置及基礎使用

爲某企業作的培訓，完整文檔見：http://gudaoxuri.github.io/bd-lab/

12. Sqoop

此主題介紹Sqoop的安裝、配置及基礎使用。

Sqoop基本信息

官網：http://sqoop.apache.org/
官方文檔：http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html

Sqoop有兩大版本，Sqoop穩定，Sqoop2目前問題比較多，如下使用Sqoop

12.1. 安裝

wget http://mirror.bit.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
rm -rf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha ./frameworks/sqoop

12.2. 配置

vi ~/.profile

export SQOOP_HOME=/opt/workspaces/frameworks/sqoop

source ~/.profile

vi ./frameworks/sqoop/conf/sqoop-env.sh

export HADOOP_COMMON_HOME=/opt/workspaces/frameworks/hadoop
export HADOOP_MAPRED_HOME=/opt/workspaces/frameworks/hadoop
export HIVE_HOME=/opt/workspaces/frameworks/hive

下載mysql驅動

wget -P ./frameworks/sqoop/lib http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.36/mysql-connector-java-5.1.36.jar

12.3. 測試

./frameworks/sqoop/bin/sqoop version

12.4. 使用

從MySQL數據庫導入數據

./frameworks/sqoop/bin/sqoop import --connect jdbc:mysql://<host>:<port>/hive \
 --username hive --password hive \
 --table ROLES \
 --where 1=1 \
 --hive-import --hive-table hive_role

# 如何要啓用增量導入須要加上以下參數
--incremental lastmodified --check-column <source field> --last-value ''

增量的字段必須是timestamp或date/datetime