spark運行原理簡單介紹和一些總結

1·,運行原理 看個流程圖: 解說就是: 1,構建spark Application運行環境 2,sparkcontext向資源管理器註冊 3,sparkContext向資源管理器申請運行Executor(執行器) 4,資源管理器分配executor 5,資源管理器啓動executor 6,executor發送心跳至資源管理器 7,sparkContext構建DAG圖 8,將DAG圖分解成stag
相關文章
相關標籤/搜索