記錄一次服務器重啓後sparkStreaming任務啓動失敗原因及排查過程

因特殊原因公司服務器從晚上6點開始CPU資源使用率飆升至100% 然後運維重啓服務器，重新構建此服務器上所有作業 然而第二天早上查看日誌發現，有一個job作業啓動失敗，經過一系列排查最終解決，特此記錄一下 此作業是sparkStreaming 讀取kafka topic並存儲至hbase ，offset保存在zookeeper; 此問題並非是常見的offset過期或offset不一致問題; 請往下

>>阅读原文<<