分佈式計算 MpReduce

一、mr介紹 1、MapReduce設計理念是移動計算而不是移動數據,就是把分析計算的程序,分別拷貝一份到不同的機器上,而不是移動數據. 2、計算框架有很多,不是誰替換誰的問題,是誰更適合的問題.mr離線計算框架 適合離線計算;storm流式計算框架 適合實時計算;sprak內存計算框架 適合快速得到結果的計算. 二、mr原理 1、mr第一個部分是把hdfs的數據切成一個個split片段,第二部分

>>阅读原文<<