【大數據面試常問問題】----MR運行流程【非深入】

MR流程三步驟 Map端 用戶提交的任務文件,在hdfs做了一個預切分,切分是交由FileInputFormat類按照默認block塊大小128M進行切分,切分非物理切分,而是邏輯切分。形成了對應的split文件。----->例如:a.txt(200M),按照128M切分就會形成兩個split。注意:split的個數決定了MapTask的數量 接着,TextInputFormat中的成員變量Rec
相關文章
相關標籤/搜索