Spark Shuffle運行原理

1.什麼是spark shuffle？ Shuffle中文意思就是「洗牌」，在Spark中Shuffle的目的是爲了保證每一個key所對應的value都會匯聚到同一個分區上去聚合和處理。 Shuffle 過程本質上都是將 Map 端獲得的數據使用分區器進行劃分，並將數據發送給對應的 Reducer 的過程。shuffle是連接Map和Reduce之間的橋樑，Map的輸出要用到Reduce中必須經過

>>阅读原文<<