Spark的checkpoint機制簡析

Spark中的checkpoint的機制，用在機器學習領域中較多，由於你要寫不少的rdd，若是你在寫rdd的過程當中的部分rdd丟失了話，固然能夠經過血統機制去恢復，可是這樣十分消耗資源，因此通常會引入checkpoint機制，把寫的那一堆的rdd進行保存到hdfs上面，這個保存的是這個rdd的結果，並非最後你執行action的結果。當執行action的時候會發現有兩個進程在執行，由於一個是計算任

>>阅读原文<<