大數據------搭建數據倉庫過程及Yarn調度MR任務

  搭建數據倉庫過程    Yarn調度MR任務   MapReduce 應用:wordCount、倒排索引、網站排名、推薦共同好友等 MapReduce 編程模型底層基於Java開發 MapReduce分爲Map階段拆分,Reduce階段合併。      1.任務:主任務(job)=Map(拆分)+Reduce(合併)      2.處理數據來源來自於HDFS(分佈式文件存儲系統),結果同樣存儲
相關文章
相關標籤/搜索