spark任務執行過程，源碼分析和on Yarn調度過程

1、spark源碼分析執行流程 當spark遇到action類算子，開始調起任務 1.Action類型的算子觸發job的執行。源碼中調用了SparkContext的runJob()方法，根進源碼發現底層調用的是DAGScheduler的runJob()方法。web 2.DAGScheduler會將咱們的job按照寬窄依賴劃分爲一個個stage(每一個stage根據RDD的Partition的個數決

>>阅读原文<<