MapReduce原理

◆執行步驟:  1. map任務處理 1.1 讀取輸入文件內容,解析成key、value對。對輸入文件的每一行,解析成key、value對。每一個鍵值對調用一次map函數。 1.2 寫自己的邏輯,對輸入的key、value處理,轉換成新的key、value輸出。 2.reduce任務處理 2.1 在reduce之前,有一個shuffle的過程對多個map任務的輸出進行合併、排序。 2.2寫redu
相關文章
相關標籤/搜索