spark基礎之spark streaming的checkpoint機制

一 什麼類型的數據須要使用checkpoint?socket Spark Streaming是最須要進行容錯的，由於通常都是7 * 24小時運轉，因此須要將足夠的信息checkpoint到容錯的存儲系統上，好比HDFS,從而可以讓他從失敗中進行恢復。有兩種數據須要被進行checkpoint:oop 一、元數據checkpoint： 性能 # 配置信息：建立spark streaming應用程序的配

>>阅读原文<<