MR架構&文件格式優缺點&壓縮格式優缺點&spilt -> map task關係&wordcount&shuffle的理解

MapReduce是什麼 mapreduce分爲map階段和reduce階段 map階段是映射 生產上可以對於此進行調優,比如合併小文件 reduce階段是聚合 生產上默認是生成1個文件 mr2.x架構設計(mr on yarn 流程) Yarn介紹 yarn包括RM和NM RM RM包括兩部分 1、applications Manager 應用程序管理器 2、resoure schedule 資
相關文章
相關標籤/搜索