hadoop學習第三天-MapReduce介紹&&WordCount示例&&倒排索引示例

一、MapReduce介紹 (最好以下面的兩個示例來理解原理) 1. MapReduce的基本思想 Map-reduce的思想就是「分而治之」 Map Mapper負責「分」,即把複雜的任務分解爲若干個「簡單的任務」執行 「 簡單的任務」有幾個含義: 1 數據或計算規模相對於原任務要大大縮小; 2 就近計算,即會被分配到存放了所需數據的節點進行計算; 3 這些小任務可以並行計算,彼此間幾乎沒有依賴
相關文章
相關標籤/搜索