Spark 中通訊架構

一、Spark 通信架構介紹 Spark 中通信框架的發展： 1、Spark 早期版本中採用 Akka 作爲內部通信部件。 2、Spark 1.3 中引入 Netty 通信框架，爲了解決 Shuffle 的大數據傳輸問題使用。 3、Spark 1.6 中 Akka 和 Netty 可以配置使用，Netty 完全實現了 Akka 在 Spark 中的功能。 4、Spark 2 系列中，不再使用 Ak

>>阅读原文<<