Spark爲什麼使用Netty通訊框架替代Akka

解決方案 一直以來,基於Akka實現的RPC通訊框架是Spark引覺得豪的主要特性,也是與Hadoop等分佈式計算框架對比過程當中一大亮點,可是時代和技術都在演化,從Spark1.3.1版本開始,爲了解決大數據塊(如shuffle)的傳輸問題,Spark引入了Netty通訊框架,到了1.6.0版本,Netty竟然徹底取代了Akka,承擔Spark內部全部的RPC通訊以及數據流傳輸。web 網絡IO
相關文章
相關標籤/搜索