Mapreduce (2)

Map階段 shuffle階段 此時新的是一個集合,注意三個節點都在同時進行 Reduce階段 reduce方法主要把新的轉換爲,一旦執行該方法,就變成Reduce Task,此時Reduce Task有幾個,完全根據自己的業務的邏輯,例如第一個Reduce Task根據字節長長度小於5的拉過來,如圖,接着Reduce Task接着對其所對應的進行排序和合並,最終產生我們想要的鍵值對,接着設置一個
相關文章
相關標籤/搜索