大數據-什麼是MapReduce?&&數據本地化&MapReduce原理及執行流程&&Shuffle的調優

一、什麼是MapReduce? 一、概述 MapReduce是Hadoop提供的一套用於進行分佈式計算的框架 將計算過程拆分爲2個階段:Map映射階段和Reduce規約階段 如圖所示: MapReduce在對文件進行計算的時候,會先將文件進行切片,切片和切塊不一樣,每個切片對應MapTask默認情況下,每一個MapTask在拿到切片之後會進行按行讀取按行處理 二、MapReduce的數據本地化 二
相關文章
相關標籤/搜索