spark的shuffle有幾種方式

shuffle過程當中分爲shuffle write和shuffle read，並且會在不一樣的stage中進行的 在進行一個key對應的values的聚合時， 首先，上一個stage的每一個map task就必須保證將本身處理的當前分區中的數據相同key寫入一個分區文件中，可能會多個不一樣的分區文件，接着下一個stage的reduce task就必須從上一個stage的全部task所在的節點上，

>>阅读原文<<