spark2原理分析—shuffle框架的實現概要分析

概述 本文分析spark2的shuffle過程的實現的一個概要。web shuffle過程介紹 shuffle整體流程 spark2的shuffle過程能夠分爲shuffle write和shuffle read。shuffle write把map階段計算完成的數據寫入到本地。而shuffle read是從不一樣的計算節點獲取shuffle write計算出來的數據，這樣就會發生網絡的數據傳輸和磁

>>阅读原文<<