HDFS隨筆——MapReduce

MapReduce 優點:海量數據離線處理&易開發&易運行 缺點:不可能做到實時 流式計算(因爲數據拆分是的流式計算不可能實現,多個程序實現以來關係,一個輸出是另一個的輸入) MapReduce編程模型之Map和Reduce階段 多個mapping之間是並行處理的,相互支架是沒有依賴關係的; 框架會對輸出進行排序 mapping的輸出作爲reducing的輸入,作業的輸出都是存儲在文件系統裏面的
相關文章
相關標籤/搜索