spark筆記之RDD容錯機制之checkpoint

10.checkpoint是什麼 （1）、Spark 在生產環境下常常會面臨transformation的RDD很是多（例如一個Job中包含1萬個RDD）或者具體transformation的RDD自己計算特別複雜或者耗時（例如計算時長超過1個小時），這個時候就要考慮對計算結果數據持久化保存； （2）、Spark是擅長多步驟迭代的，同時擅長基於Job的複用，這個時候若是可以對曾經計算的過程產生的數

>>阅读原文<<