spark 導入文件到hive出現多小文件的問題

環境： ambari:2.6.1 spark 2.1 python 3.6 oracle 11.2 sqoop 1.4 將sqoop採集到HDFS中的文件導入到HIVE數據庫，導入成功後，發現hive數據庫中出現多個小文件的問題，嚴重影響後期數據分析的加載速度。 解決方法： SJTable = spark.sql("select * from " + tablename +

>>阅读原文<<