分佈式計算(二)Hadoop原理

Hadoop MapReduce基於「分而治之」的思想,將計算任務抽象成map和reduce兩個計算過程,可以簡單理解爲「分散運算—歸併結果」的過程。 一個MapReduce程序首先會把輸入數據分割成不相關的若干鍵/值對(key1/value1)集合,這些鍵/值對會由多個map任務來並行地處理。 MapReduce會對map的輸出(一些中間鍵/值對key2/value2集合)按照key2進行排序,
相關文章
相關標籤/搜索