Spark Streaming 解析-7x24 不間斷運行

1.檢查點機制     檢查點機制是我們在Spark Streaming中用來保障容錯性的主要機制。與應用程序邏輯無關的錯誤（即系統錯位，JVM崩潰等）有迅速恢復的能力. 它可以使Spark Streaming階段性地把應用數據存儲到諸如HDFS或Amazon S3這樣的可靠存儲系統中， 以供恢復時使用。具體來說，檢查點機制主要爲以下兩個目的服務。     • 控制發生失敗時需要重算的狀態數。Sp

>>阅读原文<<