stage,task和job的區別與劃分方式

Application 用戶構建在 Spark 上的程序。由集羣上的一個 driver 程序和多個 executor 組成。node Worker node 任何在集羣中能夠運行應用代碼的節點。遞歸 Executor 一個爲了在 worker 節點上的應用而啓動的進程,它運行 task 而且將數據保持在內存中或者硬盤存儲。每一個應用有它本身的 Executor。生命週期 Job:一個由多個任務組成
相關文章
相關標籤/搜索