打通 Spark 系統運行內幕機制循環流程

引言 通過 DAGScheduelr 面向整個 Job,然後劃分成不同的 Stage,Stage 是從後往前劃分的,執行的時候是從前往後執行的,每個 Stage 內部有一系列任務,前面有分享過,任務是並行計算啦,這是並行計算的邏輯是完全相同的,只不過是處理的數據不同而已,DAGScheduler 會以 TaskSet 的方式把我們一個 DAG 構造的 Stage 中的所有任務提交給底層的調度器 T
相關文章
相關標籤/搜索