Hadoop Map/Reduce執行流程詳解

一個Map/Reduce 作業（job） 通常會把輸入的數據（input file）切分爲若干獨立的數據塊（splits），然後由 map任務（task）以完全並行的方式處理它們。Map/Reduce框架會對map的輸出做一個 Shuffle 操作，Shuffle 操作的後的結果會輸入給reduce任務。整個Map/Reduce框架負責任務的調度和監控，以及重新執行已經失敗的任務。 請點擊此處輸入

>>阅读原文<<