MapReduce工作原理

一切都是從最上方的user program開始的,user program鏈接了MapReduce庫,實現了最基本的Map函數和Reduce函數。 MapReduce庫先把user program的輸入文件劃分爲M份(M爲用戶定義),每一份通常有16MB到64MB,如圖左方所示分成了split0~4(文件塊);然後使用fork將用戶進程拷貝到集羣內其它機器上。 user program的副本中有一
相關文章
相關標籤/搜索