阿里雲大數據ACP認證知識點梳理7——MAP REDUCE

1、輸入數據:對文本進行分片,將每片內的數據作爲單個Map Worker的輸入。 2、Map階段:Map處理輸入,每獲取一個數字,將數字的Count 設置爲1,並將此對輸出,此時以Word作爲輸出數據的Key。 3、Shuffle>合併排序:在Shuffle階段前期,首先對每個Map Worker的輸出,按照Key值(即Word值)進行排序。排序後進行Combiner操作,即將Key值(Word值
相關文章
相關標籤/搜索