[2] - mapreduce的shuffle流程詳解

一、MapReduce執行全流程（包含shuffle） 1、mr執行流程圖 2、流程文字描述： 1、首先準備好待處理文本（一般是存儲在hdfs上的日誌文件等） 2、客戶端提交前,先獲取待處理數據的信息,根據參數配置,形成一個任務分配的規劃(數據切片), 有幾個切片就對應那幾個map 3、提交切片信息 4、計算出maptask的數量 5、存在一個inputFormat父類,hadoop使用的是Fil

>>阅读原文<<