spark on yarn執行完hsql命令 yarn隊列一直沒有釋放資源

現象描述 這個任務已經執行完畢,但是任務狀態一致是running導致隊列資源沒有釋放 由於是測試服務器,隊列資源較少,導致後面任務阻塞。 原因:spark on hive本質是spark-shell.sh,spark-shell.sh會一直佔用進程,這樣後面提交的hive on spark任務就不需要重複上傳spark依賴,加速任務執行速度 解決方法: 如果是hive命令行客戶端提交的job,退出
相關文章
相關標籤/搜索