sqoop從關係型數據庫導數據到hdfs和hbase上

本人最近弄了些sqoop導數據方法和命令,關於批量導入和通常導入,在本機器上linux環境運行正常; mysql

(一)Oracle導入到hdfs上
           sqoop import --connect jdbc:oracle:thin:@ip:端口號:databaseName --username userName --password password --query "sql語句 where \$CONDITIONS" --target-dir 目錄名 --split-by 主鍵 -m 4 linux


(二)Mysql導入到hbase上
    (1)通常導入(新建hbase表)
            sqoop import --connect jdbc:mysql://ip:端口號/databaseName?charset=utf-8 --username userName --password password --table tableName --hbase-table hbaseTableName --column-family 列族 --hbase-row-key HbaseRowKey --split-by 主鍵 -m 4 --hbase-create-table sql

    (2)批量導入
            sqoop import --connect jdbc:mysql://ip:端口號/databaseName?charset=utf-8 --username userName --password password --table tableName --hbase-table hbaseTableName --column-family 列族 --hbase-row-key hbaseRowKey --split-by 主鍵 -m 4  --incremental append  --check-column 主鍵  --last-value 0  oracle

(三)Mysql導入到hdfs上 app

            sqoop import --connect jdbc:mysql://ip:端口號/databaseName?charset=utf-8 --username userName --password password --table tableName --target-dir 目錄名 --split-by 主鍵 -m 4 --incremental append  --check-column 主鍵 --last-value 0

sqoop import --connect jdbc:mysql://ip:端口號/databaseName?charset=utf-8 --username userName --password password --query "SQL語句 where \$CONDITIONS " --target-dir 目錄名 --split-by 主鍵 -m 4 --incremental append  --check-column 主鍵 --last-value 0
oop

相關文章
相關標籤/搜索