Spark執行流程

啓動流程        咱們寫的spark程序,打成jar包,用spark-submit來提交;     local模式:當咱們的程序提交到集羣上時,會加載並執行咱們的jar包,並找到jar包中的main函數執行一遍,執行main函數所啓動的這個進程名就是SparkSubmit,這個進程就是咱們所說的Driver進程;      cluster模式:會在集羣中找到一臺node,啓動一個進程執行一遍
相關文章
相關標籤/搜索