MapReduce編程模板及shuffle過程簡介

MapReduce運行流程(7步)： 做業啓動>>>做業初始化>>>任務調度(Yarn)>>>map>>>shuffle>>>reduce>>>做業完成java MapReduce將整個並行計算過程抽象到兩個函數： Map(映射)：對一些獨立元素組成的列表的每個元素進行指定的操做，能夠高度並行。 Reduce(化簡)：對一個列表的元素進行合併。 一個簡單的MapReduce程序只須要指定map()

>>阅读原文<<