spark 應用輸出debug日誌

問題: yarn container 大量輸出debug日誌 –> 磁盤寫滿 –> nodemanager 識別該盤爲bad disk -> 停止服務 -> spark task lost 。 container stdout: 排錯過程： 查看spark log4j文件，yarn log 級別，應用代碼是否設置日誌級別，均無異常。 發現driver，executor日誌輸出表現不一致（drive

>>阅读原文<<