spark06

spark06       總共提交的任務分爲四個階段,提交+執行 解析代碼生成DAG有向無環圖,在分配完畢executor以後 將生成的DAG圖提交給DAGScheduler這個組件在哪裏(driver),driver中的DAGScheduler負責切分階段,按照DAG圖中的shuffle算子進行階段的切分,切分完畢階段以後,按照每個階段分別生成task任務的集合,將所有的task任務放入到se
相關文章
相關標籤/搜索