(四)Spark學習筆記之緩存持久化

緩存實戰 緩存和持久化是 RDD 計算過程當中的一種調優技術。緩存和持久化能夠保存中間計算結果,以便在後續的 stage 重用總使用,而不須要再次從頭計算。這些中間結果以 RDD 的形式保存在內存中,或者磁盤中。web StorageLevel 描述了 RDD 是如何被持久化的,能夠提供:算法 RDD 持久化磁盤仍是內存存儲; RDD 持久化手使用了off-leap; RDD 是否須要被序列化;
相關文章
相關標籤/搜索