大數據知識(六):Hadoop基礎MapReduce全流程解析

    前幾節中,我們已經瞭解了MapTask並行度機制、ReduceTask並行機制、Yarn運行流程以及Partitioner和Combiner的原理,現在我們結合這幾節綜合講解全流程。     1.啓動任務之後,首先運行的是MapTask任務,這裏會使用InputFormat組件進行數據的讀取,InputFormat的默認實現類是TextInputFormat,該類使用RecordRead對
相關文章
相關標籤/搜索