spark從入門到放棄五十四:Spark Streaming(14)checkpoint

1.概述 每一個spark streaming 應用正常來說都要7*24小時運轉的，這就是實時計算程序的特點。因爲要持續不斷的對數據進行計算。因此，對實時計算的要求，應該是必須能夠與應用程序邏輯無關的失敗，進行容錯。 如果要實現這個目標，spark streaming 程序就必須將足夠的信息checkpoint 到容錯的存儲系統上，從而讓他能夠從失敗中進行恢復。有兩種數據需要進行checkpoin

>>阅读原文<<