Spark checkpoint 功能源碼詳解

環境： spark 2.3.3 scala 2.11.8 Java 1.8.0_141   爲什麼要checkpoint？ checkpoint和persist功能相似，都是爲了更高效的複用RDD，但是Checkpoint可以進行容錯，即driver失敗後，可以基於checkpoint 數據進行重新啓動。   checkpoint推薦使用方式：一般在進行checkpoint方法調用前都要進行per

>>阅读原文<<