【spark八十七】給定Driver Program, 如何判斷哪些代碼在Driver運行,哪些代碼在Worker上執行...

Driver Program是用戶編寫的提交給Spark集羣執行的application,它包含兩部分java 做爲驅動: Driver與Master、Worker協做完成application進程的啓動、DAG劃分、計算任務封裝、計算任務分發到各個計算節點(Worker)、計算資源的分配等。 計算邏輯自己,當計算任務在Worker執行時,執行計算邏輯完成application的計算任務 接下來的
相關文章
相關標籤/搜索