RDD持久化原理與共享變量

RDD 持久化工做原理 Spark很是重要的一個功能特性就是能夠將RDD 持久化在內存中,當對RDD執行持久化操做時,每一個節點都會將本身操做的RDD的partition持久化到內存中,而且在以後對該RDD的反覆使用中,直接使用內存緩存的partition,這樣的話,對於針對一個RDD反覆執行多個操做的場景,就只要對RDD計算一次便可,後面直接使用該RDD ,而不須要計算屢次該RDD 巧妙使用RD
相關文章
相關標籤/搜索