Spark 存儲原理詳細圖解

Storage模塊主要分爲兩層： 通信層：storage模塊採用的是master-slave結構來實現通信層，master和slave之間傳輸控制信息、狀態信息，這些都是通過通信層來實現的。 存儲層：storage模塊需要把數據存儲到disk或是memory上面，有可能還需replicate遠端，這都是由存儲層來實現和提供相應接口。 Storage模塊提供了統一的操作類BlockManager，外

>>阅读原文<<