Hive之MR優化

一、合理設置Map數  （1）一般狀況下，做業會經過 input 的目錄產生一個或者多個 map 任務sql 主要的決定因素有：數據庫     1）input 的文件總個數apache     2）input 的文件大小併發     3）集羣設置的文件塊大小jvm （2）是否是 map 數越多越好？ 分佈式 答案是否認的。若是一個任務有不少小文件（遠遠小於塊大小 128m），則每一個小文件也會被當

>>阅读原文<<