大數據面試部分:MapReduce的工作原理

3.講述一下mapreduce的流程(shuffle的sort,partitions,group) 首先是 Mapreduce經過SplitInput 輸入分片 決定map的個數在用Record記錄 key value。然後分爲以下三個流程: Map: 輸入  key(long類型偏移量)  value(Text一行字符串) 輸出  key value Shuffle:、    合併(merge)
相關文章
相關標籤/搜索