MapReduce Shuffle過程深刻理解

MapReduce執行過程 一、設置input,告訴程序輸入的數據在那兒。 經過InputFormat接口子類(FileInputFormat, TextInputFormat), (1)讀取數據 (2)將數據轉換成key-value形式交給Mapper的map()方法進行處理 默認key=行偏移量(LongWritable),value=行數據(Text)web //設置input Path i
相關文章
相關標籤/搜索