MapReduce知識總結

一、mapreduce的思想 MapReduce擅長處理大數據，它爲什麼具有這種能力呢？這可由MapReduce的設計思想發覺。MapReduce的思想就是「分而治之」。 （1）Mapper負責「分」，即把複雜的任務分解爲若干個「簡單的任務」來處理。「簡單的任務」包含三層含義：一是數據或計算的規模相對原任務要大大縮小；二是就近計算原則，即任務會分配到存放着所需數據的節點上進行計算；三是這些小任務可

>>阅读原文<<