二十一、MapReduce工作流程介紹

一、流程示意圖 如下圖流程mr工作詳細運行流程 步驟詳細說明 1、獲取待處理文件信息,得到文件大小,文件存儲位置 2、根據切片參數,準備文件切片信息,如上假設按照默認塊大小切片 0-128M 129-200M 兩個數據片 3、切片完成有由客戶端向yarn提交:job信息、split切片信息、jar包 4、Appmaster根據提交信息計算出開啓幾個Maptask,其實是由切片個數決定的,它實際決定
相關文章
相關標籤/搜索