關於Map端的Shuffle過程與Reduce 端的Shuffle過程

在Map端的Shuffle過程： Map的輸出結果首先被寫入緩存，當緩存滿時，就啓動溢寫操作，把緩存中的數據寫入磁盤文件，並 清空緩存。當啓動溢寫操作時，首先需要把緩存中的數據進行分區，然後對每個分區的數據進行排序和合並，之後再寫入磁盤文件。每次溢寫操作會生成一個新的磁盤文件，隨着Map任務的執行，磁盤 中就會生成多個溢寫文件。在Map任務全部結束之前，這些溢寫文件會被歸併成一個大的磁盤文件，然後

>>阅读原文<<