spark基礎之調度器運行機制簡述

一 概述框架 驅動程序在啓動的時候,首先會初始化SparkContext,初始化SparkContext的時候,就會建立DAGScheduler、TaskScheduler、SchedulerBackend等,同時還會向Master註冊程序;若是註冊沒有問題。Master經過集羣管理器(cluster manager)會給這個程序分配資源,而後SparkContext根據action觸發job。函
相關文章
相關標籤/搜索