MapReduce計算框架各個步驟詳解(主要是Shuffle)

Hadoop的分佈式計算框架(MapReduce)-- 適合離線計算 核心思想: 移動計算而不移動數據。 MR是計算來自HDFS上的數據,可以看到,HDFS是大數據的存儲,MR是大數據的計算。 MapReduce流程:input->Splitting->Mapping->Shuffling->Reducing-> result MapReduce程序讀取的數據,都是存儲在HDFS的數據,最後的結果
相關文章
相關標籤/搜索