Hadoop學習--MapReduce基本原理

MapReduce思想在生活中處處可見。或多或少都曾接觸過這種思想。MapReduce的思想核心是「分而治之」，適用於大量複雜的任務處理場景（大規模數據處理場景）。 Map負責「分」，即把複雜的任務分解爲若干個「簡單的任務」來並行處理。可以進行拆分的前提是這些小任務可以並行計算，彼此間幾乎沒有依賴關係。 Reduce負責「合」，即對map階段的結果進行全局彙總。 MapReduce運行在yarn集

>>阅读原文<<