CDH下的spark日誌文件查詢

如果算法文件的日誌過大，通過web頁面太慢了，通過文件查詢就快的多了。 1、spark的日誌文件位置： 因爲是用yarn提交的計算任務，所以日誌是在yarn的容器中記錄的。 /yarn/container-logs 2、找到之前的算法任務： 日誌文件所在的節點。 3、進入該節點： 可以看到對應容器日誌目錄 4、查看具體的日誌 cat 命令來查看stderr文件，就可以查找具體的信息了，比在web頁

>>阅读原文<<