spark rdd緩存及緩存清理

首先咱們看看官方的定義和用法介紹html RDD Persistence(持久化)java Spark 中一個很重要的能力是將數據persisting持久化(或稱爲caching緩存),在多個操做間均可以訪問這些持久化的數據。當持久化一個 RDD 時,每一個節點的其它分區均可以使用 RDD 在內存中進行計算,在該數據上的其餘 action 操做將直接使用內存中的數據。這樣會讓之後的 action
相關文章
相關標籤/搜索