大數據(十):MapTask工做機制與Shuffle機制(partitioner輸出分區、WritableComparable排序)

1、MapTask工做機制java Read階段:MapTask經過用戶編寫的RecordReader,從輸入InputSplit中解析出一個個key/value算法 Map階段:該節點主要是將解析出的key/value交給用戶編寫map()函數處理,併產生一系列新的key/value。緩存 Collect收集階段:在用戶編寫map()函數中,當數據處理完成後,通常會調用OutputCollect
相關文章
相關標籤/搜索