hive合併小文件

hadoop使用lzo壓縮，block塊大小爲512MB 環境：hadoop2.6+hive1.2.1     lzo壓縮 啓動壓縮 set hive.exec.compress.output=true; set mapreduce.output.fileoutputformat.compress=true;  一.減小map數，（當有大量小文件時，啓動合併） set hive.input.for

>>阅读原文<<