MapReduce 過程詳解

MapReduce 過程詳解 一.Map端: 二.Reduce端: 一.Map端: Map節點運行map task任務生成map的輸出結果 1.Shuffer的工作內容 從運算效率的出發點,map的輸出結果有限存儲在map節點的內存中.每個map task都有一個內存緩衝區,存儲着map的輸出結果,當緩衝快滿時,需要將緩衝區的數據以一個臨時文件的形式存儲到磁盤中,當整個map task結束後,在對

>>阅读原文<<