Spark的shuffle機制分析

shuffle 一、shuffle概述 二、spark中的shuffle 三、HashShuffle機制 四、SortShuffle機制 一、shuffle概述 shuffle就是對數據進行重組，在MapReduce框架，shuffle是連接Map與Reduce之間的橋樑，Map階段通過shuffle讀取數據並輸出到對應的Reduce；而Reduce階段負責從Map端拉取數據並進行計算。在整個sh

>>阅读原文<<