MapReduce分佈式計算原理

本文主要通過一個例子引出MapReduce，介紹MapReduce分佈式計算原理。 首先爲了方便大家理解，先來講一個伐樹的例子 有abc三座山，山上有橡木、紅木、樟木，現在派三個工人去伐木 工人在山上伐木並將樹木進行簡單的加工，組裝，然後發送給工廠進行組裝 在這個過程中： 工人相當於Map 工人在每個山頭組裝——>combiner 將半成品運輸到工廠——>shuffle （網絡IO，這是最耗時間的

>>阅读原文<<