spark任務提交的四個階段和stage的流程

spark任務提交的四個階段 1、構建DAG 用戶提交的job將首先被轉換成一系列RDD並通過RDD之間的依賴關係構建DAG,然後將DAG提交到調度系統； 2、DAGScheduler將DAG切分stage（切分依據是shuffle）,將stage中生成的task以taskset的形式發送給TaskScheduler 3、Scheduler 調度task（根據資源情況將task調度到Executo

>>阅读原文<<