Spark架構原理-SparkContext的初始化原理

我們通過spark-submit提交自己編寫的代碼,即提交一個Application。首先就是有一個Driver進程,在該進程構造SparkConf和SparkContext,而在構造SparkContext的時候會去構造DAGScheduler和TaskScheduler,以及Spark UI。在這裏我們對SparkContext初始化原理進行剖析,就是剖析如何構造這三個組件的。
相關文章
相關標籤/搜索