MapReduce與Yarn 的詳細工作流程分析

MapReduce詳細工作流程之Map階段 如上圖所示 首先有一個200M的待處理文件 切片：在客戶端提交之前，根據參數配置，進行任務規劃，將文件按128M每塊進行切片 提交：提交可以提交到本地工作環境或者Yarn工作環境，本地只需要提交切片信息和xml配置文件，Yarn環境還需要提交jar包；本地環境一般只作爲測試用 提交時會將每個任務封裝爲一個job交給Yarn來處理（詳細見後邊的Yarn工作

>>阅读原文<<