spark core源碼閱讀-RDD與Stage(五)

我們之前說過RDD只是抽象概念,RDD會被轉換成Stage,進而被轉換成Task,在Executor上執行,今天我們跟一下源碼看spark是 如何轉換的 Stage stage是一組並行任務,被作爲Spark任務的一部分運行,並且這些任務持有相同的shuffle依賴.每個任務的DAG根據哪邊發生 shuffle爲邊界劃stages,並在調度器中執行有序的stages拓撲圖,具體分爲: Result

>>阅读原文<<