MapReduce基本調優策略

設置reduce數量 默認狀況下,一個塊對應一個map。 默認狀況下只有一個reduce。 設置reduce個數:web job.setNumReduceTasks(2); //設置reduce的個數 或者 conf.set("mapreduce.job.reduces", "2"); //設置reduce的個數 實際中reduce的個數要進行不斷的測試獲取一個趨於平穩的值。算法 map任務
相關文章
相關標籤/搜索