MapReduce部分:MapReduce的工作原理(副本)

MapReduce的工作原理: map端就是計算向數據移動 map是並行的,map端結束才允許reduce,因爲map的輸出纔是reduce的 輸入, 做性別的統計:拉取男性的數據和女性的數據 MapReduce不需要太大的內存 相同的key爲一組,這一組數據調用一次reduce方法 客戶端首先是獲得map的split清單。 切片信息 配置文件 jar包 jobtracker: 調度 對集羣的資源
相關文章
相關標籤/搜索