Spark 學習筆記----RDD持久化原理

一、RDD持久化的原理 Spark很是重要的一個功能特性,就是能夠將RDD持久化到內存中,當對RDD執行持久化操做時,每一個節點都會將本身操做的RDD的partition持久化到內存中,並在在以後對該RDD的反覆使用中,直接使用內存緩存的partition。這樣對於針對一個RDD的反覆執行多個操做的場景,就只要對RDD計算一次便可,後面直接使用該RDD,而不須要反覆計算屢次該RDD。java 二、
相關文章
相關標籤/搜索