Spark之CacheManager運行流程

Spark之CacheManager運行流程 CacheManager概述   CacheManager的功能是將RDD的數據進行持久化。當Task要針對一個RDD中的Partition進行計算時如果發現我們即將產生的RDD已經被CacheManager持久化了，那麼我們可以直接拿到目標數據而無需再進行計算。 具體來說，我們的計算過程發生在RDD的iterator()方法中。當我們要拿的數據是已經

>>阅读原文<<