Ambari Metrics接收數據問題

ambari-metrics上報數據存儲

• 場景描述
  ambari集羣：ab-01;ab-02;ab-03;ab-04;ab-05;

數據庫

• 使用HBase存儲，phoenix做爲sql引擎，對上報數據進行存儲。
• 數據屬性：Snappy壓縮、只有一個Version的數據、多個分不一樣時間級別的表存儲相同的數據、使用布隆過濾器、block大小爲64KB、使用緩存存儲block。

存儲模式

• 本地模式
  使用HBase的本地存儲模式。默認模式。

• 分佈式模式
  修改Advanced ams-hbase-site：將hbase.rootdir修改成hdfs://<namenode>:<port>/user/ams/hbase；將dfs.client.read.shortcircuit改成true

• 啓動
  HBASE_CONF_DIR="/etc/ams-hbase/conf" hbase shell

表屬性

phoenix表

**METRIC_RECORD：**用於記錄每一個機器上收集的每一個 Metrics屬性，1天后清理
**METRIC_RECORD_MINUTE：**聚合統計每一個機器上的Metrics屬性，1周後清理
**METRIC_RECORD_HOURLY：**聚合統計每一個機器上的Metrics屬性，30天后清理 **METRIC_RECORD_DAILY：**聚合統計每一個機器上的Metrics屬性，1年後清理
METRIC_AGGREGATE： 聚合統計全部機器上的Metrics屬性（集羣），1周後清理
**METRIC_AGGREGATE_MINUTE：**聚合統計全部機器上的Metrics屬性（集羣），30天后清理
**METRIC_AGGREGATE_HOURLY：**聚合統計全部機器上的Metrics屬性（集羣），1年後清理
**METRIC_AGGREGATE_DAILY：**聚合統計全部機器上的Metrics屬性（集羣），2年後清理

參照：
ambari數據表說明

metrics問題彙總

redis上報數據未存儲

• 場景： 使用ab-01做爲數據收集端，向metrics-collector所在節點發送數據。

發送數據的腳本以下：

#!/bin/sh
url=http://$1:6188/ws/v1/timeline/metrics
while [ 1 ]
do
#A=$(redis-cli info | grep total_connections_received: | awk -F ':' '{print $2}')
#echo $A > abc.txt
#sed -i 's/\r//' abc.txt
#A=$(head -1 abc.txt)
millon_time=$(( $(date +%s%N) / 1000000 ))
A=`expr $RANDOM % 10`
json="{
 \"metrics\": [
 {
 \"metricname\": \"$2\",
 \"appid\": \"$3\",
 \"hostname\": \"localhost\",
 \"timestamp\": ${millon_time},
 \"starttime\": ${millon_time},
 \"metrics\": {
 \"${millon_time}\": ${A}
 }
 }
 ]
}"
echo $json | tee -a /root/my_metric.log
curl -i -X POST -H "Content-Type: application/json" -d "${json}" ${url}
sleep 3
done

• 結果： Ambari的界面上的redis無監控圖表。

• 問題排查

1. app timeline server沒法啓動（修復後排除）。修復過程詳情查看： app timeline server 啓動問題
2. 查詢Redis的監控數據是否在HBase中存儲（數據未存儲）；
3. 調試後，發現因爲**數據的發送方（ab-01）和接收方(ab-05)**時間差別較大致使metrics-collector將上報數據丟棄。
   遠程調試Ambari Metrics System

• 解決方法

1. 暫時將ab-01的時間手動調至和ab-05相同的時間，發送數據成功。
2. 根源解決：部署時間同步服務器。