我和spark有個約會（2）-spark 的shuffle過程

shuffle被稱爲是神奇發生的地方，分爲三個部分了解下shuffle的過程： 概覽，spark write，spark read 爲什麼需要 shuffle write 按照stage劃分後的rdd： 詳細的任務執行的流程： 從圖上可以看出，有依賴的stage之間的數據互通，是通過上個stage的shufflemaptask write 之後，將源數據同步，再由下一個stage的shufflem

>>阅读原文<<