MapReduce on Yarn

MapRduce MapReduce是一個軟件框架,基於該框架能夠容易地編寫應用程序,這些應用程序能夠運行在由上千個商用機器組成的大集羣上,並以一種可靠的,具有容錯能力的方式並行地處理上TB級別的海量數據集。 MapReduce的思想就是「分而治之」: Map(映射):把複雜的任務分解爲若干個「簡單的任務」來處理。 Reduce(規約):把map階段的結果進行彙總。 實體一:客戶端,用來提交Map
相關文章
相關標籤/搜索