hadoop mapTask執行過程

基於2.7.1源碼進行的分析 map端的執行執行的主要過程： 首先會對block進行split，每個split上啓動一個map task，map方法執行完之後，最終會把輸出寫到磁盤上。如果沒有熱的側階段，則直接輸出到hdfs上，如果有有reduce作業，則每個map方法的輸出在寫磁盤前線在內存中緩存。每個map task都有一個環狀的內存緩衝區，存儲着map的輸出結果，在每次當緩衝區快滿（默認是達

>>阅读原文<<