MR中InputFormat數據輸入 -- 切片與MapTask並行度決定機制

1、問題引出 MapTask 的並行度決定 Map 階段的任務處理併發度,進而影響到整個 Job 的處理速度。 思考:1G 的數據,啓動 20 個MapTask,可以提高集羣的併發處理能力。那麼 1K 的數據,也啓動 20 個 MapTask,會提高集羣性能嗎?MapTask 並行任務是否越多越好呢?哪些因素影響了 MapTask並行度? 2、MapTask 並行度決定機制 數據塊:Block 是
相關文章
相關標籤/搜索