MapReduce 工作原理解析

MapReduce 工作原理圖                原理圖流程分析：user program鏈接了MapReduce庫，實現了最基本的Map函數和Reduce函數。圖中執行的順序都用數字標記了。 MapReduce庫把輸入文件進行分片（分成M份，M爲用戶定義），每一份通常有16MB到64MB，然後使用fork將用戶進程拷貝到集羣內其它機器上。 master是任務調度者，爲空閒worker

>>阅读原文<<