Spark調度機制：4)階段劃分

階段劃分是做業調度過程的關鍵所在，首先探討下Spark是如何進行階段劃分的。java 一個階段劃分的例子以下圖所示，用虛線表示一個階段，虛線框內全部的RDD都是爲了實現該階段而須要被計算的數據。整個做業最後一個RDD的全部分區數據被計算完畢對於的階段就是所求的末階段。函數 沿着RDD的依賴關係往前進行深度優先遍歷，若遇到一個Shuffle依賴，依賴的每個父RDD全部分區數據都計算完畢能夠分別對應一

>>阅读原文<<