大數據採坑集-導入數據到hive的換行符問題

問題描述 我們通常在遷移數據到大數據環境中，會使用，sqoop、datax之類的etl工具，從數據庫中遷移到hive或hdfs。數據庫中的原始數據中的文本類數據難免會有特殊字符，比如換行符，會對導入Hive後的數據產生影響。下面是從mysql導入hive的數據，其中，hive表是textfile格式存儲特殊字符沒做處理： 發現有兩個字段沒了，於是再看看hive表在hdfs上的文件： 發現原本一行的

>>阅读原文<<