spark的checkpoint機制

引入checkpoint機制原因 Spark 在生產環境下經常會面臨 Transformation 的 RDD 非常多(例如一個Job 中包含1萬個RDD) 或者是具體的 Transformation 產生的 RDD 本身計算特別複雜和耗時(例如計算時常超過1個小時) , 這個時候如果可以對計算的過程進行復用，就可以極大的提升效率，此時我們必需考慮對計算結果的持久化。 如果採用 persists

>>阅读原文<<