強-大數據第三講

Hadoop的背景起源二:MapReduce編程

1、什麼是大數據,本質?
(1)數據的存儲:分佈式文件系統(分佈式存儲)-----> HDFS: Hadoop Distributed File System
(2)數據的計算:分佈式計算

2、如何解決大數據的計算?分佈式計算
(1)什麼是PageRank(MapReduce的問題的來源)
(*) 搜索排名

(2)MapReduce(Java語言實現)基礎編程模型: 把一個大任務拆分紅小任務,再進行彙總
(*) 更簡單一點例子分佈式

 

 

相關文章
相關標籤/搜索