MapReduce整體流程簡述

輸入： 以滑動窗口的形式對hdfs中的block切片，split， 切片的大小默認==block大小，實際情況還需要根據計算形式：cpu密集型還是I/O頻繁型來決定，切片的大小，split切片可大於，也可小於block大小 mapTask: 每一個split中的每一條記錄，記錄可以用任何標識符分割，每一條記錄調用一次map方法，map方法的輸出是[K,V]，經過計算，得到的輸出是[K,V,P] [

>>阅读原文<<