hadoop學習筆記(三)MapReduce入門 WordCount

之前的hdfs是對集羣上的文件進行管理,進行增刪改查等操作,只針對文件本身,不針對文件內容。 而MapReduce則是對文件內容進行管理。  MapReduce採用的是「分而治之」的思想,把對大規模數據集的操作,分發給一個主節點管理下的各個從節點共同完成,然後通過整合各個節點的中間結果,得到最終結果。簡單來說,MapReduce就是」任務的分解與結果的彙總「。 大部分人接觸MapReduce的第一
相關文章
相關標籤/搜索