hadoop mapreduce原理

簡介 本文先介紹Google 開源項目mapreduce1.0版。mapreduce的設計是爲實現一個抽象的計算框架，使用者不用關心底層如何實現，只須要關注業務邏輯從而計算海量、複雜的原始數據。web 編程模型 設計理念是實現「計算向數據靠攏」，「數據向計算靠攏」會形成大量的I/O消耗，計算過程分爲map和reduce階段。 存儲在HDFS中的數據被切分紅不少塊，這些塊能夠分發到多個map任務並行

>>阅读原文<<