MapReduce部分:MapReduce的運行(工作)原理介紹

MapReduce2.x架構,(最大的改進是增加了namenode,防止一個掛掉有另一個可以起來頂替)   MapReduce就是分而治之的理念,把一個複雜的任務劃分爲若干個簡單的任務分別來做。把一些數據通過map來歸類,通過reducer來把同一類的數據進行處理。map的工作就是切分數據,然後給他們分類,分類的方式就是以key,value(鍵值對) 分類之後,reduce拿到的都是同類數據進行處
相關文章
相關標籤/搜索