hive中控制map和reduce數量的簡單實現方法

0、先說結論： 　　因爲mapreduce中沒有辦法直接控制map數量，因此只能曲線救國，經過設置每一個map中處理的數據量進行設置；reduce是能夠直接設置的。 控制map和reduce的參數node set mapred.max.split.size=256000000; -- 決定每一個map處理的最大的文件大小，單位爲B set mapred.min.split.size.per.nod

>>阅读原文<<