存儲管理模塊總體架構

spark 存儲管理模塊總體架構 從架構上看存儲管理模塊採用的主要從結構來實現通訊層，主節點和從節點之間傳輸控制信息、 狀態信息。 存儲層： 存儲管理模塊須要把數據存儲到硬盤或者內存黃總，必要時還須要複製到遠端 ，這些操做由存儲層來實現和提供相應的接口 從功能上看存儲管理模塊又分爲倆個主要部分： RDD緩存：整個存儲管理模塊主要的工做是RDD緩存，包括基於內存和磁盤的緩存 Shuffle數據持久化

>>阅读原文<<