記錄一次服務器重啓後sparkStreaming任務啓動失敗原因及排查過程

因特殊原因公司服務器從晚上6點開始CPU資源使用率飆升至100% 然後運維重啓服務器,重新構建此服務器上所有作業 然而第二天早上查看日誌發現,有一個job作業啓動失敗,經過一系列排查最終解決,特此記錄一下 此作業是sparkStreaming 讀取kafka topic並存儲至hbase ,offset保存在zookeeper; 此問題並非是常見的offset過期或offset不一致問題; 請往下
相關文章
相關標籤/搜索