Spark內核解析之(3)Spark 通訊架構原理剖析

一、Spark 通信架構概述 Spark2.x 版本使用 Netty 通訊框架作爲內部通訊組件。spark 基於 Netty 新的 rpc框架借鑑了 Akka 的中的設計，它是基於 Actor 模型，如下圖所示： Spark 通訊框架中各個組件（Client/Master/Worker）可以認爲是一個個獨立的實體，各個實體之間通過消息來進行通信。具體各個組件之間的關係圖如下： Endpoint（C

>>阅读原文<<