spark任務提交的四個階段和stage的流程

spark任務提交的四個階段 一、構建DAG 用戶提交的job將首先被轉換成一系列RDD並經過RDD之間的依賴關係構建DAG,而後將DAG提交到調度系統；web 二、DAGScheduler將DAG切分stage（切分依據是shuffle）,將stage中生成的task以taskset的形式發送給TaskScheduler 三、Scheduler 調度task（根據資源狀況將task調度到Exec

>>阅读原文<<