MapReduce執行流程源碼深度剖析(一)

1、分佈式計算引擎的核心設計思路 分佈式裏的核心思路:就是 分而治之 (比如怎麼切分和怎麼合併) 既然複雜問題,單臺計算搞不定,那麼就發揮人多力量大的優勢:組建一個多服務器組成的集羣來完成分佈式計算的問題。 核心過程就是: 1、第一階段:複雜的大任務拆分成多個簡單的小任務來進行執行 2、第二階段:把第一階段的並行執行的小任務的執行結果進行彙總 MapReduce:一句話講就是分而治之+並行計算 H
相關文章
相關標籤/搜索