必會:關於SparkStreaming checkpoint那些事兒

spark Streaming的checkpoint是一個利器，幫助在driver端非代碼邏輯錯誤導致的driver應用失敗重啓，比如網絡，jvm等，當然也僅限於支持自動重啓的集羣管理器，比如yarn。由於checkpoint信息包含序列化的Scala / Java / Python對象，嘗試使用新的修改類反序列化這些對象可能會導致錯誤。 本文主要講解checkpoint使用的一些注意事項。 系統

>>阅读原文<<