Hadoop原理之_MapReduce工作流程

在MapReduce整個過程可以概括爲以下過程： 輸入 --> map --> shuffle --> reduce -->輸出 輸入文件會被切分成多個塊，每一塊都有一個map task map階段的輸出結果會先寫到內存緩衝區，然後由緩衝區寫到磁盤上。默認的緩衝區大小是100M，溢出的百分比是0.8，也就是說當緩衝區中達到80M的時候就會往磁盤上寫。如果map計算完成後的中間結果沒有達到80M，最

>>阅读原文<<