大數據-什麼是MapReduce？&&數據本地化&MapReduce原理及執行流程&&Shuffle的調優

一、什麼是MapReduce？ 一、概述 MapReduce是Hadoop提供的一套用於進行分佈式計算的框架 將計算過程拆分爲2個階段：Map映射階段和Reduce規約階段 如圖所示： MapReduce在對文件進行計算的時候，會先將文件進行切片，切片和切塊不一樣，每個切片對應MapTask默認情況下，每一個MapTask在拿到切片之後會進行按行讀取按行處理 二、MapReduce的數據本地化 二

>>阅读原文<<