Spark-任務執行流程

目錄 Application在集羣中運行的大概流程 Application提交的方式 Application提交的集羣 Application在集羣中運行的大概流程 流程:node 1.Driver分發task到數據所在的節點上運行。 計算找數據,減小網絡IO 2.每個任務的執行結果拉回到Driver進程中 這種操做很危險,容易致使Driver端OOM。能夠經過代碼控制是否將計算結果拉回到Dr
相關文章
相關標籤/搜索