hadoop性能指標和hadoop的日誌

Hadoop 指標類型

Hadoopde 守護進程的指標根據它們所屬的上下文能夠分爲不一樣的組，以下所述：

 

JVM指標:這些指標由集羣中運行的JVM產生包括JVM堆大小和垃圾回收相關指標，例如當前的堆內存（MemHeapUsed）的使用狀況和總GC計數（GcCount）。

RPC指標：rpc上下文中的指標包括主機名和端口等，還包括諸如發生字節數（SentBytes）、當前打卡鏈接數（NumOpenConnections）和認證失敗次數等指標。

DFS指標：dfs上下文中包括與NameNode、HDFS文件系統、DataNodes和JournalNodes相關指標，DFS指標能夠告訴集羣中是否存在大量的文件建立和刪除操做。

Hadoop的日誌消息

能夠經過瀏覽各個日誌文件或經過Hadoop內置的web界面訪問Spark和其餘做業的hadoop日誌消息。大多數時候，經過web界面訪問日誌更好，由於能夠節省時間，並快速找到發生性能問題或者做業失敗的緣由：

Hadoop生成兩種主要類型的日誌：

它爲守護程序（如NameNode和DataNode）生成日誌。守護進程日誌主要由管理員使用，由於它們有助與排除DataNode和NameNode等關鍵Hadoop服務的意外故障。

Hadoop還爲集羣中的運行的每一個應用程序生成日誌，hadoop應用程序日誌能夠用於開發人員瞭解做業失敗和性能降低的緣由。

能夠經過多種方式查看hadoop的日誌

Hadoop web UI 特別是ResourceManager webUi能夠免除訪問日誌存儲位置和查看日誌文件的麻煩，還能夠經過JobHistory web UI 查看日誌

直接從日誌文件檢查日誌信息

對於某些應用程序日誌，若是開啓了日誌聚合功能則將他們聚合到HDFS存儲。

經過yarn命令檢查：

yarn application命令能夠管理一下任務：

列出集羣中運行的應用程序

殺死正在運行的的應用程序

獲取正在運行的應用程序的狀態。

查看Yarn應用程序

 yarn application -list 能夠檢索全部做業的列表，不考慮它們的狀態。做業能夠具備如下狀態：All、NEW、NEW_SAVING、SUMBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED和KILLED。指定-appStates選項便可

yarn application -list -appStates running

檢查應用程序的狀態

yarn application -status <application_id>

kill正在執行的的做業

yarn application -kill <application_id>

檢查節點狀態

yarn node -all -list 列出集羣的全部節點及其狀態

 

獲取做業日誌

yarn logs 名利的語法：

yarn logs -applicationId <application_id>

只能獲取已經結束的運行的做業的日誌。

Hadoop存儲日誌的位置

一、hdfs：這是hadoop建立用於存儲做業執行文件（如包含運行做業hadoop參數的job.xml）的暫存目錄的位置。

二、NodeManager本地目錄：這是在本地文件系統上建立的目錄，hadoop在其中存儲由NodeManager服務生產的Shell腳本，以便執行ApplicationMaster容器。可使用yarn-site.xml文件中的yarn.nodemanager.local.dir參數指定NodeManger本地目錄位置。

此參數能夠提供NodeManager存儲其本地文件的目錄列表。在這些目錄下實際應用程序的本地文件目錄${yarn.nodemanager.local-dir}/usercache/user/....。每一個NodeManager在NodeManager本地目錄下的本地應用程序緩存中

三、NodeManger日誌目錄：這是linux上本地目錄，NodeManager在此存儲用戶運行的應用程序的實際日誌文件。在此節點的NodeManager上執行做業的全部容器及其應用程序日誌存儲在此目錄中。使用yarn.nodemanager.log-dirs參數指定NodeManager日誌目錄的位置。

     不須要擔憂nm-local-dirs目錄會填滿appcache子目錄下的做業文件，這些文件在做業完成時會被自動刪除。可是某些做業確實包含大文件，配置屬性yarn.nodemanager.delete.debug-delay-sec指定在應用程序後就保留本地日誌目錄的時間，一點配置時間到期，NodeManager的deletionservicehi刪除應用程序本地文件目錄結構。

Hadoop存儲日誌聚合

      啓用日誌聚合以後，nodemanager會將全部容器日誌鏈接到一個文件中並將它保存在HDFS中，可使用yarn.nodemanager.remote-app-log-dir參數配置hadoop 在hdfs的哪裏存儲聚合日誌。通常配置在/tmp/hadoop/logs/

三種方式獲取應用程序日誌

一、從hdfs中獲取

二、經過hadoop 從web UI看，在未結束的應用的中點擊applicationmaster，點擊頁簽下面的logs

    三、做業完成以後從JobHistoryServer UI查看