Sqoop使用常常遇到問題

一、sqoop 導入hive數據

(1)空字符串， 空對象處理 

--null-string '\\N' --null-non-string '\\N'

(2)導入數據含有特殊字符

--hive-drop-import-delims

(3)導入時 用query查詢

target-dir 必定不要與數據庫最終保存位置一致

二、sqoop 導出到MySQL

(1)導入時定義過空對象、空字符創處理、

--input-null-string '\\N'--input-null-non-string '\\N'

(2)mapper100%，reduce卡在0%

id主鍵衝突，由特殊字符致使hdfs文件格式有問題\

(3)export導出，增量更新

update-key update-mode

例子： --update-key id --update-mode allowinsert

兩種模式： allowinsert : 若是key是主鍵，則MySQL存在則更新，不存在則插入；不是主鍵，則插入；

                updateonly ： 只會更新，不會插入；

三、使用java調用

(1)必定要注以特殊字符轉義 

\\N  \\\\\\N