spark exectors的啓動總結

在spark啓動之後,worker和master註冊通信之後,在進入用戶提交app中,new SparkContext之後就會在worker上分配exectors了。 首先在sparkContext中,會先創建和啓動TaskScheduler和DAGSchedule 在創建TaskScheduler的時候也會創建schedulerBackend;下面看createTaskScheduler方法:
相關文章
相關標籤/搜索