分佈式計算框架MapReduce

編程模型之核心概念 Split InputFormat OutputFormat Combiner:map端的聚合操作 Partitoner 編程模型之執行步驟 準備map處理的輸入數據 Mapper處理 Shuffle Reduce處理 結果輸出 通過 InputFormat 讀入HDFS上的文件 通過 Split 進行分片後,用 RecordReader 讀取進來 input(k,v) pai
相關文章
相關標籤/搜索