Hadoop漸進四:MapRaduce流程簡述

一、MapRaduce介紹 MapReduce是一種編程模型,具有在多節點上並行處理大數據的能力。MapReduce算法包含兩個重要的事務,分別是Map和Reduce: 1、Map:把大量複雜任務分解成多個少量簡單任務; 2、Reduce:將多個少量任務結果進行歸類彙總。  二、Map/Reduce步驟  1、Map:負責數據的過濾分發 (1)、Splitting:從數據源(HDFS的數據塊)獲取
相關文章
相關標籤/搜索