大數據學習第二課之五mapreduce原理簡介

首先什麼是mapreduce： 總的來說，Mapreduce是一個分佈式的運算編程框架，核心功能是將用戶編寫的核心邏輯代碼分佈式地運行在一個集羣的很多服務器上。 爲什麼要mapreduce （1）海量數據（我假設1000t，或者p級別）在單機上處理因爲硬件資源限制，無法勝任，因爲需要採用分佈式集羣的方式來處理。 （2）而一旦將單機版程序擴展到集羣來分佈式運行，將極大地增加程序的複雜度和開發難度 （

>>阅读原文<<