yarn任務積壓,資源仍然很多的問題解決

版本 hadoop3.x yarn3.x  這幾週一直髮生yarn任務積壓的情況 積壓情形如下 yarn只用了一點點資源 hadoop stream 任務全部積壓 卡住不動 查看web ui 很多未申請到的資源 但是container 資源卻只有8192mb 1c hadoop stream 提交的job都如此 查看詳細情形 發現map結束之後 reduce 幾乎沒有進行 全部卡住  集羣裏其他的
相關文章
相關標籤/搜索