7.Spark Core 應用解析之RDD檢查點機制

Spark RDD 檢查點機制 Spark 中對於數據的保存除了持久化操做以外，還提供了一種檢查點的機制，相似於快照，就是將 DAG 中比較重要的中間數據作一個檢查點將結果存儲到一個高可用的地方(一般這個地方就是HDFS 裏面。web 爲何要使用 checkpoint？ 例如在 Spark 計算裏面計算流程 DAG 特別長,服務器須要將整個 DAG 計算完成得出結果。可是若是在這很長的計算流程中忽

>>阅读原文<<