spark提交任務過程 總綱

一、構造SparkContext 1.1. 在shell下,通過spark-submit命令將Application提交到集羣,此時spark會通過反射的方式,創建和構造一個DriverActor進程出來(scala中的actor類似java的多線程) 1.2. Driver進程會執行我們提交的Application應用程序,一般情況下,先構造SparkConf,再構造SparkContext 1
相關文章
相關標籤/搜索