hive控制文件生成個數

在有些時候，想要控制hql執行的mapper,reducer個數,reducer設置過少，會致使每一個reducer要處理的數據過多，這樣可能會致使OOM異常，若是reducer設置過多，則會致使產生不少小文件，這樣對任務的執行以及集羣都不太好.一般狀況下這兩個參數都不須要手動設置，Hive會根據文件的大小和任務的狀況自動計算,可是某些特殊狀況下可能須要進行調優，下面列舉兩個經常使用的調優場景看看

>>阅读原文<<