解讀MapReduce程序實例

Mapreduce 是一個分佈式運算程序的編程框架,核心功能是將用戶編寫的業務邏輯代碼和自帶默認組件整合成一個完整的 分佈式運算程序,併發運行在一個 hadoop 集羣上。MapReduce採用「分而治之」策略,一個存儲在分佈式文件系統中的大規模數據集,會被切分成許多獨立的分片(split),這些分片可以被多個Map任務並行處理。     Hadoop 的四大組件: (1)HDFS:分佈式存儲系統
相關文章
相關標籤/搜索