MapReduce執行原理

MapReduce執行任務一般包括輸入分片、Map、Shuffle、Reduce等階段，其執行原理如下圖所示： 圖片來源於《離線和實時大數據開發實戰》 輸入分片：在進行Map計算之前，MapReduce會根據輸入文件計算輸入分片，每個輸入分片對應一個Map任務。 Map階段：在Map階段，各個Map任務會接收到所分配的分片，並調用Map函數，逐行執行並輸出鍵值對。 Combiner階段：Combi

>>阅读原文<<