Spark源碼剖析之數據通訊模塊解析

Spark是一個分佈式計算框架，當 咱們提交一個任務，會劃分爲多個子任務分發到集羣的各個節點進行計算，這裏思考一個問題，Spark是如何進行消息的傳遞，如何將任務分發到各個節點，而且如何將計算結果彙總起來的呢？web 實際上，Spark內部使用Akka進行消息的傳遞，心跳報告等，使用Netty提供RPC服務進行數據的上傳與下載功能。這點與Flink相似。算法 塊管理器BlockManager是Sp

>>阅读原文<<