grep -rlv 'crc' /var/lib/hadoop-hdfs/20160711/ | xargs sed -i "s/,/,/g" grep -rlv 'crc' /var/lib/hadoop-hdfs/20160711/ | xargs sed -i "s/\\$/,/g"
將目錄下全部以0開頭的文件中的英文逗號替換爲中文逗號,再將$替換爲英文逗號,注意這裏要將.000開頭,.crc結尾的文件排除在外,由於這些是校驗文件,修改後,再次往hive中導入文件的時候,會出現如下錯誤apache
Failed with exception Checksum error: file:/var/lib/hadoop-hdfs/000000_0 at 0 exp: 264275974 got: 1334332137 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.CopyTask
發現一個問題,一旦修改了hive改出文件的分割符再想將修改後的文件導入到hive中的時候,必定會報錯,因此要想導入成功,最好方法就是不修改分析後的數據,直接導入到hive中。oop