處理海量數據的模式MapReduce,大規模數據集的並行運算

MapReduce是一種處理海量數據的並行編程模式,用於大規模數據集(通常大於1TB)的並行運算。 「Map(映射)」、「Reduce(化簡)」的概念和主要思想,都是從函數式編程語言和矢量編程語言借鑑。 適合非結構化和結構化的海量數據的搜索、挖掘、分析與機器智能學習等。 MapReduce計算模型 分佈式計算的瓶頸是網絡帶寬。「本地計算」是最有效的一種節約網絡帶寬的手段。 MapReduce的特點
相關文章
相關標籤/搜索