MapReduce shuffle敘述

Shuffle是mapReduce的核心,要想理解MapReduce, Shuffle是必須要了解的。 文字敘述: 1.mapTask的數量來源於切片的數量,mapTask讀取數據時默認用的是TextInputFormat中的RecordReader的read方法讀取一行數據,返回給們自定義的mapper,如果沒有自定義mapper,框架中有默認的mapper,會把讀取的數據原樣輸出。 2.讀取後
相關文章
相關標籤/搜索