Spark Checkpoint的運行原理和源碼實現

引言 Checkpoint 到底是什麼和需要用 Checkpoint 解決什麼問題： Spark 在生產環境下經常會面臨 Transformation 的 RDD 非常多(例如一個Job 中包含1萬個RDD) 或者是具體的 Transformation 產生的 RDD 本身計算特別複雜和耗時(例如計算時常超過1個小時) , 可能業務比較複雜，此時我們必需考慮對計算結果的持久化。 Spark 是擅長

>>阅读原文<<