一次spark做業執行後進程沒法關閉的緣由及解決方案

最近運維的同窗頻頻反映,spark集羣做業模式,每次執行完成spark的進程端口都已經關閉了,可是經過命令執行spark做業的進程和端口卻沒法自動關閉,嚴重影響其餘業務組的做業運行,可是沒法關閉的狀況不是常常出現,出現頻率也不規範,可是執行任務正常,數據清洗加工正常,存儲正常,查看日誌發現是在做業執行完成會執行sparksession.stop方法,是這個方法堵塞了進程的正常關閉,可是緣由從日誌上
相關文章
相關標籤/搜索