Hadoop學習筆記————MapReduce

簡介 MapReduce是一種編程模型,並且是處理和生成大數據集的相關實現。用戶指定一個map函數去處理key/value對,生成一個包含新的key/value對的集合(中間數據);reduce函數合併具有相同key值的中間數據。用戶的程序按照這個模式編寫,並且在一個集羣上運行,這是利用分佈式的一個典型的『並行』思想。用戶無需關注輸入文件的分割、任務在集羣上的調度、集羣內部的通信以及機器運行的失敗
相關文章
相關標籤/搜索