6.Hadoop_MapReduce計算框架介紹、架構原理、yarn資源管理

MapReduce介紹 MapReduce分爲2部分:MapTask、ReduceTask MapTask會把數據映射成一個k,v格式的中間數據集。每組相同key組成的數據(一般情況下)會併發調用reduce方法,方法內迭代這組數據進行計算(類似sql) MapTask數量:對Block Spilt(切片),每一個Spilt(片)會分配一個MapTask ReduceTask數量:一般情況下 相同
相關文章
相關標籤/搜索