spark checkpoint

checkpoint 前提條件 迭代計算，要求保證數據安全 對速度要求不高（跟cache到內存進行對比） 將中間結果保存到hdfs 步驟： 設置checkpoint目錄（分佈式文件系統的目錄hdfs目錄）sc.setCheckpointDir(「hdfs://s201:9000/ck2019」) 經過複雜進行，得到中間結果 將中間結果checkpoint到指定的hdfs目錄 後續的計算，就可以使用

>>阅读原文<<