大數據筆記 3--MapReduce工作流程

詳細步驟: 1、客戶端會提交相應的切片、jar包、配置文件信息到Yarn上,Yarn上的AppMater會爲mapreduce申請相應的資源; 2、AppMater根據相關信息計算給mapreduce程序分配出幾個MapTask資源。 3、 MapTask會利用InputFormat中的recorderReader將待處理的文本分割成<k,v>鍵值對的形式,然後根據用戶自定義的Map方法進行邏輯計
相關文章
相關標籤/搜索