【面試題】詳細說一下MapReduce工作流程(MapTask過程、Shuffle過程、ReduceTask過程)

工作流程一: 工作流程二: 一個完整的mapreduce程序在分佈式運行時有三類實例進程: 1)MrAppMaster:負責整個程序的過程調度及狀態協調 2)MapTask:負責map階段的整個數據處理流程 3)ReduceTask:負責reduce階段的整個數據處理流程 工作全流程詳解: 上面圖一和圖二中的流程是整個MapReduce最全工作流程,主要包括MapTask階段、Shuffle階段和
相關文章
相關標籤/搜索