hadoop的mapreduce任務的執行流程

hadoop2.x的三大核心:mapreduce 、hdfs以及yarn ,其中核心之一mapreduce,利用了分而治之的思想,Map(映射)和 Reduce(歸約),分佈式多處理而後進行彙總的思想,好比:清點撲克牌把裏面的花色都分開,一我的清點那麼可能耗時4分鐘,若是利用mapreduce的思想,把撲克牌分紅4份,每一個人對本身的那一份進行清點,而後4我的都清點完成以後把各自的相同花色放一塊兒
相關文章
相關標籤/搜索