大數據開發面試部分:如何決定一個job的map和reduce的數量(大數據開發面試)

splitSize=max{minSize,min{maxSize,blockSize}} map數量由處理的數據分成的block數量決定default_num = total_size / split_size; reduce的數量job.setNumReduceTasks(x);x 爲reduce的數量.
相關文章
相關標籤/搜索