Spark存儲模式的工作原理詳解

Spark存儲模式使用了Master/Slave,RPC機制進行通信，Master負責元數據管理，Slave負責上報本地數據狀態。 存儲模式架構說明： 1. Executor啓動時創建SparkEnv,SparkEnv創建BlockManager和數據同步的服務BlockTranferService； 2. BlockManager創建後，會創建BlockManagerMasterEndPoint

>>阅读原文<<