MapReduce執行過程當中的數據流程:

1.預先加載本地的輸入文件 2.通過MAP處理產生中間結果 3.通過shuffle將key相同的中間結果分配到同一個節點去處理 4.Reduce處理產生結果輸出 5.將結果保存在hdfs上 web MAP階段所作工做:svg 在map階段: 1.使用job.setINputFormatClass定義的InputFormat將輸入的 數據集分割成小數據塊splites; 2.同時InputForma
相關文章
相關標籤/搜索