MapReduce執行流程之我見

咱們都知道Hadoop主要用於離線計算,它由兩部分構成:HDFS和MapReduce,其中HDFS負責文件的存儲,MapReduce負責對數據的計算,在執行MapReduce程序的時候。須要制定輸入的文件uri、輸出的文件uri。通常狀況下這兩個地址都是存放在HDFS上的。MapReduce計算過程又分紅兩個階段:map階段和reduce階段,其中map階段是負責將輸入文件進行劃分,劃分的結果是一
相關文章
相關標籤/搜索