spark處理大量小文件

spark core處理小文件

在sparkContext的api中，有HadoopFile相關api，能夠定義本身的InputFormat。原理跟MapReduce處理小文件同樣，參考以前博客：newAPIHadoopFile。除了複寫InputFormat以外，還能夠用shell控制文件大小，合併小文件。還能夠使用sparkContext的newAPIHadoopFile，以下：

val initRdd = sc.newAPIHadoopFile[LongWritable, Text, CombineTextInputFormat](hdfs_uri + primary_path).map{ line => line._2.toString }

spark sql從hive中讀取小文件

spark sql是不會自動合併小文件的（hive會自動合併小文件），小文件越多，產生的task就會越多

當spark sql要從hive中讀取表t1，若是使用hive，hive是會對t1表的小文件處理的，可是spark sql不會不會處理小文件，因此咱們須要使用間接的方法，首先設置SET spark.sql.shuffle.partitions=20;，而後再執行以下語句：

insert overwrite table splited_tmp select * from splited_tmp_split distribute by rand(123);

最後，新表splited_tmp就是20個文件了。