Spark核心編程-RDD持久化詳解

一、不使用RDD持久化 二、使用RDD持久化 三、持久化對於性能調優的原則 儘量去複用RDD,差不多的RDD,可以抽取稱爲一個共同的RDD,供後面的RDD計算時,反覆使用。 公共RDD一定要實現持久化,對於要多次計算和使用的公共RDD,一定要進行持久化。 持久化,也就是說,將RDD的數據緩存到內存中/磁盤中,以後無論對這個RDD做多少次計算,都是直接取這個RDD的持久化的數據,比如從內存中或者磁盤
相關文章
相關標籤/搜索