Mapreduce原理全剖析過程

1.mapreduce原理全剖析map+shuffle+reducer  wordcount爲例      1.mapper開始運行,調用InputFormat組件讀取文件邏輯切片(邏輯切片不是block塊,切片大小默認和block塊大小相同)      2.經過inputformat組件處理後,文件以<k,v>的形式進入我們自定義的mapper邏輯      3.mapper邏輯中輸出結果會調用
相關文章
相關標籤/搜索