黑猴子的家:ReduceTask工作機制

1、設置ReduceTask reducetask的並行度同樣影響整個job的執行併發度和執行效率,但與maptask的併發數由切片數決定不同,Reducetask數量的決定是可以直接手動設置 //默認值是1,手動設置爲4 job.setNumReduceTasks(4); 2、注意 (1)如果數據分佈不均勻,就有可能在reduce階段產生數據傾斜 (2)reducetask數量並不是任意設置,還
相關文章
相關標籤/搜索