菜鳥的Spark 源碼學習之路 -4 DAGScheduler源碼 - part2

上文中分析了DAGScheduler的基本功能Dagscheduler-1,本文主要深入分析一下Job提交和相關處理。 首先看一下相關的方法和數據結構: 這些結構大多都是HashMap。 1. Job的提交過程 首先是在SparkContext.submitJob提交job,調用的是dagScheduler.submitJob方法 /** * Submit a job for executio
相關文章
相關標籤/搜索