簡單搞定MapReduce運行原理

1)分佈式的運算程序往往需要分成至少2個階段 2)第一個階段的maptask併發實例,完全並行運行,互不相干 3)第二個階段的reduce task併發實例互不相干,但是他們的數據依賴於上一個階段的所有maptask併發實例的輸出 4)MapReduce編程模型只能包含一個map階段和一個reduce階段,如果用戶的業務邏輯非常複雜,那就只能多個mapreduce程序,串行運行 1)在MapRed
相關文章
相關標籤/搜索