MapReduce基本原理與WordCount程序

MapReduce原理   經過簡單的Mapper和Reducer的抽象提供一個編程模型,能夠在一個由幾十臺上百臺PC組成的不可靠集羣上併發地,分佈式處理大量的數據集,而把併發、分佈式(機器間通訊)和故障恢復等計算細節隱藏起來。 而Mapper和Reducer的抽象,又是各類各樣的複雜數據處理均可以分解爲的基本元素。這樣,複雜的數據處理能夠分爲多個Job(包含一個Mapper和一個Reducer)
相關文章
相關標籤/搜索