Spark 通訊架構

1 Spark通信架構概述 Spark2.x版本使用Netty通訊框架作爲內部通訊組件。spark 基於netty新的rpc框架借鑑了Akka的中的設計,它是基於Actor模型,如下圖所示: Spark通訊框架中各個組件(Client/Master/Worker)可以認爲是一個個獨立的實體,各個實體之間通過消息來進行通信。具體各個組件之間的關係圖如下: Endpoint(Client/Master
相關文章
相關標籤/搜索