Spark 底層網絡模塊

文章正文 對於分佈式系統來說,網絡是最基本的一環,其設計的好壞直接影響到整個分佈式系統的穩定性及可用性。爲此,Spark專門獨立出基礎網絡模塊spark-network,爲上層RPC、Shuffle數據傳輸、RDD Block同步以及資源文件傳輸等提供可靠的網絡服務。在spark-1.6以前,RPC是單獨通過akka實現,數據以及文件傳輸是通過netty實現,然而akka實質上底層也是採用nett
相關文章
相關標籤/搜索