dkhadoop大數據智能分析平臺監控參數說明

2018年國內大數據公司50強榜單排名已經公佈了出來，大快以黑馬之姿闖入50強，並摘得多項桂冠。Hanlp天然語言處理技術也榮膺了「2018中國數據星技術」獎。對這份榜單感興趣的能夠找一下看看。本篇承接上一篇《DKM平臺監控參數說明》，繼續就大快的大數據一體化處理架構中的平臺監控參數進行介紹和說明。 DKhadoop大數據處理平臺架構的安裝相關文章已經分享過，詳細的內容能夠找一下看看。在上一篇中已經就集羣平均負載、集羣磁盤使用狀況、HDFS監控界面、Hbase監控界面等監控參數進行說明。今天就把剩下的一些監控參數一塊兒介紹完，關於大快大數據處理平臺監控參數的介紹就完整了。 一、Yarn監控界面 （1） 執行失敗的應用程序 監控 yarn資源管理中總執行失敗的應用程序數量 縱軸表示應用程序數量，單位個 橫軸表示時間,單位分鐘 （2）已提交的應用程序 監控 yarn資源管理中已提交的應用程序數量 縱軸表示應用程序數量，單位個 橫軸表示時間,單位分鐘

（3）正在運行的應用程序

監控 yarn資源管理中正在運行的應用程序數量 縱軸表示應用程序數量，單位個 橫軸表示時間,單位分鐘 （4） 等待執行的應用程序

監控 yarn資源管理中等待執行的應用程序數量 縱軸表示應用程序數量，單位個 橫軸表示時間,單位分鐘

（5）已完成的應用程序

監控 yarn資源管理中已完成的應用程序數量 縱軸表示應用程序數量，單位個 橫軸表示時間,單位分鐘 （6）被kill的應用程序

監控 yarn資源管理中被殺死的應用程序數量 縱軸表示應用程序數量，單位個 橫軸表示時間,單位分鐘 二、Spark監控界面 注意：（spark 運行任務後纔有監控數據） （1） 最大可以使用內存

監控 Spark 集羣中最大可以使用的內存 縱軸表示內存容量，單位MB 橫軸表示時間,單位分鐘 （2）已使用的內存 監控 Spark 集羣中已經使用的內存 縱軸表示內存容量，單位MB 橫軸表示時間,單位分鐘 （3）剩餘內存

監控 Spark 集羣中剩餘的內存 縱軸表示內存容量，單位（MB） 橫軸表示時間,單位分鐘 （4）Spark中任務數量 監控 Spark 集羣中任務數量 縱軸表示內存容量，單位MB 橫軸表示時間,單位分鐘 （5）Spark中正在運行的任務數量 監控 Spark中正在運行的任務數量 縱軸表示內存容量，單位MB 橫軸表示時間,單位分鐘 （6）正在運行的stage數量

監控 Spark集羣中正在運行的stage數量 縱軸表示stage數量，單位個 橫軸表示時間,單位分鐘

（7）失敗的stage數量 監控 Spark集羣中運行失敗的stage數量 縱軸表示stage數量，單位個 橫軸表示時間,單位分鐘 （8）準備就緒的stage數量 監控 Spark集羣中準備就緒的stage數量 縱軸表示stage數量，單位個 橫軸表示時間,單位分鐘 備註： （橫軸的時間表示採集時間，通常是1分鐘一次）