3.1InputFormat數據輸入的基本知識

3.1.1 切片與MapTask並行度決定機制 1)一個Job的Map階段並行度由客戶端在提交Job時的切片數決定 2)每一個Split切片分配一個MapTask並行實例處理 3)默認情況下,切片大小=BlockSize 4)切片時不考慮數據集整體,而是逐個針對每一個文件單獨切片 3.1.2 Job提交流程源碼和切片源碼詳解 3.1.3FileInputFormat切片源碼解析
相關文章
相關標籤/搜索