spark任務提交流程(standalone)

spark程序使用spark-submit方式提交,如果是standalone集羣的話,會在提交任務的節點啓動一個driver進程; dirver進程啓動以後,首先是構建sparkcontext,sparkcontext主要包含兩部分:DAGScheduler和TaskScheduler TaskScheduler會尋找Master節點,Master節點接收到Application的註冊請求後,通
相關文章
相關標籤/搜索