本人最近弄了些sqoop導數據方法和命令,關於批量導入和通常導入,在本機器上linux環境運行正常; mysql
(一)Oracle導入到hdfs上
sqoop import --connect jdbc:oracle:thin:@ip:端口號:databaseName --username userName --password password --query "sql語句 where \$CONDITIONS" --target-dir 目錄名 --split-by 主鍵 -m 4 linux
(二)Mysql導入到hbase上
(1)通常導入(新建hbase表)
sqoop import --connect jdbc:mysql://ip:端口號/databaseName?charset=utf-8 --username userName --password password --table tableName --hbase-table hbaseTableName --column-family 列族 --hbase-row-key HbaseRowKey --split-by 主鍵 -m 4 --hbase-create-table sql
(2)批量導入
sqoop import --connect jdbc:mysql://ip:端口號/databaseName?charset=utf-8 --username userName --password password --table tableName --hbase-table hbaseTableName --column-family 列族 --hbase-row-key hbaseRowKey --split-by 主鍵 -m 4 --incremental append --check-column 主鍵 --last-value 0 oracle
(三)Mysql導入到hdfs上 app
sqoop import --connect jdbc:mysql://ip:端口號/databaseName?charset=utf-8 --username userName --password password --table tableName --target-dir 目錄名 --split-by 主鍵 -m 4 --incremental append --check-column 主鍵 --last-value 0
sqoop import --connect jdbc:mysql://ip:端口號/databaseName?charset=utf-8 --username userName --password password --query "SQL語句 where \$CONDITIONS " --target-dir 目錄名 --split-by 主鍵 -m 4 --incremental append --check-column 主鍵 --last-value 0
oop