spark shuffle學習筆記

spark shuffle學習筆記 Shuffle就是包裹在各種需要重分區的算子之下的一個對數據進行重新組合的過程。 Shuffle 過程本質上都是將 Map 端獲得的數據使用分區器進行劃分，並將數據發送給對應的 Reducer 的過程 shuffle shuffle連接map與reduce過程 Map階段通過shuffle讀取數據並輸出到對應的Reduce Reduce階段負責從Map端拉取數據

>>阅读原文<<