spark基礎之存儲原理

一 Spark存儲架構 Spark的存儲採用主從(Master/Slave)模式，使用RPC進行消息通信。 Master主要負責整個應用程序在運行期間block元數據的管理和維護,Slave主要負責將本地數據塊的狀態的彙報給Master;而且接收Master傳過來的執行指令，比如獲取數據塊狀態，刪除RDD/數據塊等。   在Driver端只有一個BlockManagerMaster負責管理和維護集

>>阅读原文<<