spark-sql 分區小文件合併

spark-sql執行任務小文件生成規則 示例數據 元數據 : {數據庫名稱:mydb,   表名稱:t30,    字段列表: a int, b int c int  } 主數據: [1,4,2  ;  3,4,6  ;  4,6,7 ] 1.使用spark-sql查詢表數據 任務的task數與小文件數保持一致 例如下圖所示 :  表t30中保存的是主數據,其中有17個文件,每一個文件的大小都小

>>阅读原文<<