大數據挖掘分析與應用 (七) MapReduce操作

MapReduce框架 一 MapReduce概述 優點:1.海量數據離線處理 2.易開發 3.易運行 缺點:實時流計算 MapReduce計算框架,基於磁盤(硬盤)IO輸入輸出 我從磁盤上讀取數據到內存中,計算,得出結果放到磁盤 spark計算框架 ,基於內存的(內存條) 很短的時間內,數據是直接到內存的,計算,結果返回 MapReduce編程之工作流程: 1.將作業拆分爲Map階段和Reduc
相關文章
相關標籤/搜索