Prometheus 告警收斂

Prometheus 告警收斂

　　告警面臨最大問題，是警報太多，至關於狼來了的形式。收件人很容易麻木，再也不繼續理會。關鍵的告警經常被淹沒。在一問題中，alertmanger在必定程度上獲得很好解決。
　　Prometheus成功的把一條告警發給了Altermanager，而Altermanager並非簡簡單單的直接發送出去，這樣就會致使告警信息過多，重要告警被淹沒。因此須要對告警作合理的收斂。

 

告警收斂手段：

• 分組（group）：將相似性質的警報分類爲單個通知
  •        一、減小報警消息的熟練
  • 　　二、同類告警聚合幫助運維排查問題

• 抑制（Inhibition）：當警報發出後，中止重複發送由此警報引起的其餘警報

• 配置文件：vim alertmanager.yml
   # inhibit_rules標記：下降告警收斂，減小報警，發送關鍵報警
   inhibit_rules:
     # source_match: 匹配當前告警發生後其餘告警抑制掉
     - source_match:
         # severity: 指定告警級別
         severity: 'critical'
       # target_match:抑制告警
       target_match:
         # severity: 指定抑制告警級別
         severity: 'warning'
       # equal: 只有包含指定標籤纔可成立規則
       equal: ['alertname', 'dev', 'instance']

  抑制配置文件
  •        一、消除榮譽報警
• 靜默（Silences）：是一種簡單的特定時間靜音提醒的機制
  • 　　一、解決預期告警

 

---

建立靜默

• 訪問地址：http://www.xiangsikai.com:9093/#/alerts

一、建立靜默

二、填入開始結束時間，填寫標籤名稱，保存

三、查看建立靜默