spark DAGScheduler、TaskSchedule、Executor執行task源碼分析

摘要 spark的調度一直是我想搞清楚的東西，以及有向無環圖的生成過程、task的調度、rdd的延遲執行是怎麼發生的和如何完成的，還要就是RDD的compute都是在executor的哪個階段調用和執行我們定義的函數的。這些都非常的基礎和困難。花一段時間終於弄白了其中的奧祕。總結起來，以便以後繼續完善。spark的調度分爲兩級調度：DAGSchedule和TaskSchedule。DAGSched

>>阅读原文<<