十三、shuffle原理與源碼剖析

1. 默認shuffle原理圖 上圖中，有兩個節點，第一個節點上運行了4個ShuffleMapTask，第二個節點上運行了4個ResultTask。ResultTask要去拉取ShuffleMapTask的輸出數據，來完成比如reduceBykey等類型的shuffle操作。 每個ShuffleMapTask都會爲每個ResultTask創建一份bucket緩存，以及對應的ShuffleBlock

>>阅读原文<<