1、安裝
1.解壓
2.配置
a:
$ cd $SQOOP_HOME/conf
$ mv sqoop-env-template.sh sqoop-env.sh
打開sqoop-env.sh並編輯下面幾行:
export HADOOP_COMMON_HOME=/apps/hadoop-2.8.1/
export HADOOP_MAPRED_HOME=/apps/hadoop-2.8.1/
export HIVE_HOME=hadoop/apps/hive
b:vi ~/.bashrc
export SQOOP_HOME=/apps/sqoop1
export PATH=$PATH: SQOOP_HOME/binjava
source ~/.bashrc
3.加入mysql的jdbc驅動包
cp ~/app/hive/lib/mysql-connector-java-5.1.28.jar $SQOOP_HOME/lib/node
2、基本操做
注意:從word複製的 -- 有問題!!!
1.MySQL to HDFS
sqoop import \
--connect jdbc:mysql://192.168.222.140:3306/mytest \
--username root \
--password briup \
--table balance --m 1
2.MySQL to Hive
sqoop import --connect jdbc:mysql://192.168.222.140:3306/mytest --username root --password briup --table balance --hive-import --m 1
3.Mysql to HDFS指定目錄
sqoop import \
--connect jdbc:mysql://192.168.222.140:3306/mytest \
--username root \
--password briup \
--target-dir /queryresult \
--table balance --m 1
4.HDFS to MySQL
sqoop export \
--connect jdbc:mysql://node4:3306/mytest \
--username root \
--password briup \
--table balance \
--export-dir /queryresult/
5.導入表數據子集
sqoop import \
--connect jdbc:mysql://node4:3306/mytest \
--username root \
--password briup \
--where "id=2" \
--target-dir /wherequery \
--table balance --m 1
6.增量導入
sqoop import \
--connect jdbc:mysql://node4:3306/mytest \
--username root \
--password briup \
--table balance --m 1 \
--incremental append \
--check-column id \
--last-value 3mysql