Hadoop生態圈之mapreduce

概念 MapReduce是多進程,進程空間獨享,方便對資源的管理,消耗更多的啓動時間,時效性不高,適合離線處理,高吞吐。mapreduce是hadoop的批量處理計算框架,主要分爲map、reduce過程。 map:負責將數據處理爲<key,value>形式的數據輸出到reduce reduce:負責處理map輸出的結果 工作流程 1.從hdfs獲取數據。InputFormat:RecordRea
相關文章
相關標籤/搜索