spark中持久化和容錯checkpoint的區別

他們的目的不一樣 1， checkpoint(容錯)是考慮安全性，html RDD 可使用 persist() 方法或 cache() 方法進行持久化。數據將會在第一次 action 操做時進行計算，並緩存在節點的內存中。Spark 的緩存具備容錯機制，若是一個緩存的 RDD 的某個分區丟失了，Spark 將按照原來的計算過程，自動從新計算並進行緩存。java 2，持久化是爲高效性apache 持

>>阅读原文<<