大數據之hadoop分佈式計算框架MapReduce

一、MapReduce構成 MapReduce分爲兩部分,即map和reduce。 其中map是入隊(key,value),reduce則是聚合(計算)。 map過程的輸出時reduce過程的輸入。 需要注意的是這裏map中的key是可以重複的,reduce做聚合的時候可以把相同的key放到同一組裏,做聚合運算。 二、MapReduce原理分析 map過程: 上圖左側是map的task,其中一個s
相關文章
相關標籤/搜索