MapReduce的詳細工作流程

3. MapReduceTask工作流程 整理自Hadoop技術內幕 3.1 概述 MapReduce框架中,一個Task被分爲Map和Reduce兩個階段,每個MapTask處理數據集合中的一個split並將產生的數據溢寫入本地磁盤;而每個ReduceTask遠程通過HTTP以pull的方式拉取相應的中間數據文件,經過合併計算後將結果寫入HDFS。 3.2 MapTask 客戶端提交任務,規劃切
相關文章
相關標籤/搜索