大數據學習筆記(三)

1、MapReduce 1.1 MapReduce介紹 MapReduce是Hadoop框架的核心之一,它主要負責數據的分佈式計算問題。MapReduce的核心思想是「分而治之」。「分」,即把一個複雜的任務分解成若干個簡單任務來處理,但前提是這些任務是能夠並行計算的。「合」,即對map階段的結果進行全局彙總。 MapReduce將整個並行計算過程劃分爲三個階段:java Map:對一些獨立元素組成
相關文章
相關標籤/搜索