MapTask工作機制

MapTask工作機制流程圖: 基本概念: 切片數決定MapTask的數量 切片大小=blockSize(默認128MB) 針對每一個文件單獨切片(除了處理小文件的CombineTextInputFormat和部分自定義InputFormat) 流程圖解析: 客戶端job提交--->文件讀取--->map操作--->寫入環形緩衝區--->分區,排序--->溢出到磁盤 首先由客戶端提交job相關信息
相關文章
相關標籤/搜索