Hadoop的MapReduce工作機制解析

  1、MapTask工作機制 (1)Read階段:MapTask通過用戶編寫的RecordReader,從輸入InputSplit中解析出一個個key/value。 (2)Map階段:該節點主要是將解析出的key/value交給用戶編寫map()函數處理,併產生一系列新的key/value。 (3)Collect收集階段:在用戶編寫map()函數中,當數據處理完成後,一般會調用OutputCol
相關文章
相關標籤/搜索