Spark Driver相關總結

Spark Driver相關總結 Driver的作用: 執行main方法 把用戶程序轉化爲task 協調任務的調度 Driver相關總結 driver劃分的task由executor執行 一個spark作業運行時包括一個Driver進程,也是作業的主進程,具有main函數,並且有SparkContext實例,是程序的入口 功能 向集羣申請資源 負責作業的調度和解析 生成Stage並調度Task到E
相關文章
相關標籤/搜索