【MapReduce】MapReduce工作機制

一個mapreduce作業，一般分爲兩階段執行：map階段和reduce階段，下面分別對這兩階段進行介紹。 Map階段 Map階段又分爲五部分：讀取文件階段，MapTask階段，collect階段，溢寫階段，combine階段。 首先客戶端把待處理文件分片信息、jar包信息、參數信息等提交到HDFS。然後Yarn集羣接受任務，啓動AppMaster把任務分配NodeManager，並由NodeMa

>>阅读原文<<