sqoop 使用

1、mysql 數據導入到 hdfs
  sqoop                       ##sqoop命令
      import                       ##表示導入
      --connect jdbc:mysql://ip:3306/sqoop    ##告訴jdbc,鏈接mysql的url
      --username root                                     ##鏈接mysql的用戶名
      --password admin                                   ##鏈接mysql的密碼
      --table mysql1                                        ##從mysql導出的表名稱
      --fields-terminated-by '\t'                        ##指定輸出文件中的行的字段分隔符,默認爲逗號「,」
      -m 1                                                       ##複製過程使用1個map做業

2、mysql 數據導入到 hive

1),複製mysql表結構到hive
sqoop
    create-hive-table
    --connect jdbc:mysql://192.168.182.128:3306/test
    --username root
    --password root
    --table user_dfs
    --hive-table users
    --fields-terminated-by '\t'

2),導入mysql的數據到hive中
sqoop  ##sqoop命令
    import  ##表示導入
    --connect jdbc:mysql://192.168.182.128:3306/test  ##告訴jdbc,鏈接mysql的url
    --username root  ##鏈接mysql的用戶名
    --password root  ##鏈接mysql的密碼
    --table user_dfs  ##從mysql導出的表名稱
    --hive-import   ##把mysql表數據複製到hive空間中。若是不使用該選項,意味着複製到hdfs中  
    --hive-table users   ##hive 表名
    --m 1   ##複製過程使用1個map做業
    --fields-terminated-by '\t' ##指定輸出文件中的行的字段分隔符
三,hive 數據導入mysql
sqoop ##sqoop命令
    export  ##表示導入
    --connect jdbc:mysql://192.168.182.128:3306/test  ##告訴jdbc,鏈接mysql的url
    --username root  ##鏈接mysql的用戶名
    --password root  ##鏈接mysql的密碼
    --table user_hive  ##從mysql導出的表名稱
    --export-dir /user/hive/warehouse/users/part-m-00000 ##其實是把hdfs中的數據導入到mysql中
    --m 1   ##複製過程使用1個map做業
    --input-fields-terminated-by '\t' ##指定輸出文件中的行的字段分隔符mysql

相關文章
相關標籤/搜索