Spark源碼-部署流程

Spark的部署流程 1.一些特殊的類 Backend 後臺 rpcEnv:首先IPC是完成在同一節點上兩個進程間的交互,RPC就是完成兩個終端間的進程交互 amEndpoint:終端 RpcEndpointAddress:RPC終端地址 2.spark的框架圖 3.源碼流程 上圖在新版的spark源碼中有些許調整,但只是一些參數和函數位置的調整,整體流程還是這樣的。 接下來進入client部分
相關文章
相關標籤/搜索