Spark的存儲管理

RDD的存放和管理都是由Spark的存儲管理模塊實現和管理的。本文從架構和功能兩個角度對Spark的存儲管理模塊進行介紹。 架構角度 從架構角度，存儲管理模塊主要分爲以下兩層： 通信層：存儲管理模塊採用的是主從結構來實現通信層，主節點和從節點之間傳輸控制信息、狀態信息。 存儲層：存儲管理模塊需要把數據存儲到硬盤或者內存中，必要時還需要複製到遠端，這些操作由存儲層來實現和提供相應接口。 通信層消息傳

>>阅读原文<<