Spark本地調試和程序重啓checkpoint恢復碰到的問題

Spark本地調試和程序重啓checkpoint恢復碰到的問題 1、產生問題的背景 　　今天自測Spark程序碰到兩個問題，(1)、啓動流式程序報錯 (2)、重啓Spark程序,同一個對象的部分數據恢復了，一部分沒有恢復 　　第一個問題的報錯信息： 　　第二個問題的結果信息： 2、排查問題的原因 　　第一個問題的原因是:沒有配置hadoop的環境變量,導致在寫checkpoint數據的時候報錯了。

>>阅读原文<<