一次spark做業執行後進程沒法關閉的緣由及解決方案

最近運維的同窗頻頻反映，spark集羣做業模式，每次執行完成spark的進程端口都已經關閉了，可是經過命令執行spark做業的進程和端口卻沒法自動關閉，嚴重影響其餘業務組的做業運行，可是沒法關閉的狀況不是常常出現，出現頻率也不規範，可是執行任務正常，數據清洗加工正常，存儲正常，查看日誌發現是在做業執行完成會執行sparksession.stop方法，是這個方法堵塞了進程的正常關閉，可是緣由從日誌上

>>阅读原文<<