Mark :spark運行邏輯 簡單易懂的總結

1.架構 Master 做爲整個集羣的控制器復負責整個集羣的正常運行 Worker 相當於計算節點,接收主節點命令與進行狀態彙報。運行一個或多個Executor進程,相當於計算節點 Client 用戶提交作業的客戶端 Driver 負責控制一個應用的執行,運行Application的main函數和初始化SparkContext,Driver將Task和Task所依賴的file和jar(序列化後)傳
相關文章
相關標籤/搜索