spark學習七 共享內存的實現(快速的共享數據)

存儲子系統概覽(*重要*) 上圖是Spark存儲子系統中幾個主要模塊的關係示意圖,現簡要說明以下html CacheManager  RDD在進行計算的時候,經過CacheManager來獲取數據,並經過CacheManager來存儲計算結果 BlockManager   CacheManager在進行數據讀取和存取的時候主要是依賴BlockManager接口來操做,BlockManager決定數
相關文章
相關標籤/搜索