spark基礎之checkpoint機制

一 Spark中Checkpoint是什麼 假設一個應用程序特別複雜場景，從初始RDD開始到最後整個應用程序完成，有非常多的步驟，比如超過20個transformation操作，而且整個運行時間也比較長，比如1-5個小時。此時某一個步驟數據丟失了，儘管之前在之前可能已經持久化到了內存或者磁盤，但是依然丟失了，這是很有可能的。也就是說沒有容錯機制，那麼有可能需要重新計算一次。而如果這個步驟很耗時和資

>>阅读原文<<