真正讓你明白Hive參數調優系列2:如何控制reduce個數與參數調優

       相比map個數的控制複雜性,reduce個數的設定要相對簡單多了,reduce的個數通常最後決定了輸出文件的個數,兩者相等,若是想多輸出文件的個數(這樣文件變小,但有可能程序變慢),那麼能夠人爲增長reduce個數。若是想減小文件個數,也能夠手動較少reduce個數(一樣可能程序變慢)。但實際開發中,reduce的個數通常經過程序自動推定,而不人爲干涉,由於人爲控制的話,若是使用不當
相關文章
相關標籤/搜索