Spark任務提交全流程(簡述+全流程)

概略: 1.Driver端啓動SparkSubmit進程,啓動後開始向Master進行通訊,此時建立了一個對象(SparkContext),接着向Master發送任務消息 2.Master接收到任務信息後,開始資源調度,此時會和全部的Worker進行通訊,找到空閒的Worker,並通知Worker來拿取任務和啓動相應的Executor 3.Executor啓動後,開始與Driver進行反向註冊,接
相關文章
相關標籤/搜索