MapReduce架構，shuffle，mapred，hdfs讀流程

MapReduce運行模式如下 主要分爲map，reduce，shuffle幾個步驟： map相當於給數據作用一個規則，取得作用規則後數據的映射，例如： Map() 映射 a xyz -> (x,1)(y,1)(z,1) 映射成key，value的形式 b xxyyz c kkkkkkkkzzzzz d kkxx shuffle相當於洗牌，歸類 a (x,1)(x,1)...

>>阅读原文<<