大數據-MapRuduce

MapReduce是一種分佈式編程框架,用於大規模數據集的並行運算。(可以說是一種編程方法,理論,思想,一種「分而治之」的策略) 下面用一種較爲通俗的例子來引入這麼一個概念及解釋MapReduce的過程: 首先,我們有相當多的文本文檔(可能有幾千億幾萬億,反正很多),我們需要編程來統計詞頻,我們的一般方法是,寫一個程序,把所有文件遍歷一遍,可是,這也許需要花費相當長的時間。 那麼,有沒有更好的方法
相關文章
相關標籤/搜索