簡述MapReduce計算框架原理

1. MapReduce基本編程模型和框架 1.1 MapReduce抽象模型 大數據計算的核心思想是:分而治之。如下圖所示。把大量的數據劃分開來,分配給各個子任務來完成。再將結果合併到一起輸出。注:如果數據的耦合性很高,不能分離,那麼這種並行計算就不合適了。 圖1: MapReduce抽象模型 1.2 Hadoop的MapReduce的並行編程模型 如下圖2所示,Hadoop的MapReduce
相關文章
相關標籤/搜索