map-reduce 、map、reduce


                                           map-reduce 過程 spa

中間綠線區域就是shuffle(「洗牌」)過程:map以後,reduce以前的過程hash

能夠這樣理解:一個map 產生的數據,結果經過hash過程分區卻分配給了不一樣的reduce任務,就至關於對數據洗牌的過程。 map


                                                                             map端過程 im



                                                                                               reduce 過程  數據

相關文章
相關標籤/搜索