checkpoint的正確使用方式及其與persist的區別

1、正確使用方式 在執行checkpoint以前先對RDD進行Persist：應爲checkpoint操做會啓動一個job，spark默認會從新計算執行checkpoint操做的RDD，也就是說，須要從源頭開始再計算一次，明顯的重複計算。因此先persist後，就不用重複計算了。 2、與persist的區別 checkpoint是寫磁盤的，persist也能夠經過StorageLevel.DISK

>>阅读原文<<