Spark 的作業執行原理

參見書籍 《圖解Spark:核心技術與案例實戰》 要點概述 ** 作業(Job)提交後由行動操作觸發作業執行，根據RDD的依賴關係構建DAG圖，由DAGSheduler(面向階段的任務調度器)解析 ** DAGSheduler在解析DAG圖時是以RDD的依賴是否爲寬依賴，當遇到寬依賴就劃分爲一個新的調度階段。每個調度階段都包含一個或者是多個任務(Task),多個Task組成任務集，提交給TaskS

>>阅读原文<<