深入理解Spark之Spark的整體運行流程

spark作爲流行的計算框架,下面是其運行流程圖,以Cluster模式爲例 Spark運行流程圖,author:lyzx_hero 1、通過spark-submit的方式提交作業,此時應用程序向master發送請求啓動Driver程序     Driver程序負責對資源和任務的調度 2、Master在資源充足的Worker上啓動一個Driver進程     這裏需要注意是Master找到資源充足的
相關文章
相關標籤/搜索