MapReduce On YARN

MapReduce計算框架 將計算過程分爲兩個階段:Map和Reduce   Map階段並行處理輸入數據;   Reduce階段對Map結果進行彙總 Shuffle連接Map和Reduce兩個階段   Map Task將數據寫到本地磁盤;   Reduce Task從每個Map Task上讀取一份數據; 僅適合離線批處理   具有較好的容錯性和擴展性;   適合批處理任務; 缺點:   啓動Map
相關文章
相關標籤/搜索