prometheus實戰---告警模板編寫（四）

本篇文章主要介紹如何編寫alertmanager的告警模板，使用這個告警模板，能夠格式化咱們的告警信息，讓告警內容更加易讀和美觀html

prometheus 告警規則詳解: https://www.dogfei.cn/archives/alertmanager-rule
prometheus 配置文件參考與介紹: https://www.dogfei.cn/archives/prometheus-confignode

告警模板

上篇文章介紹了關於告警規則的一些編寫，在使用企業微信告警的時候，提到了告警模板，這裏詳細說下告警模板如何寫。git

首先，告警模板是基於go語言的模板來寫的，具體可參考官方文檔：https://golang.org/pkg/text/template/,這裏列舉一些經常使用的寫法，而後再去看下面的示例，就知道什麼意思了。github

`"."`的用法

寫過helm的必定知道這個'.',就是你定義了一個模板，當給這個模板傳數據的時候，可使用'.'來訪問獲取對應的變量golang

{{ .Country.Name.Age }}
複製代碼

這種就是經過鏈式訪問這個複雜類型的數據。web

模板變量

在模板中定義了變量後，在整個模板中都能使用，例如：json

{{ $Name := "fei" }}
hello {{ $Name }}
複製代碼

define

{{ define "this.is.template" }}
複製代碼

定義了一個名爲"this.is.template"的模板api

if/else語句

知足條件繼續執行，不知足則去執行else，不知足條件能夠是一些空值，或者false,例如false,0,nill,空字符串bash

{{ if .Name }} 
hello {{ .Name }}
{{ else }}
no one!!!
{{ end }}
複製代碼

這裏就是判斷Name是否有值，有就會輸出hello {{ .Name }}，沒有輸出no one，結束用{{ end }}
多條件可使用微信

{{ if .Name1 }}
hello {{ .Name1 }}
{{ else if .Name2 }}
hello {{ .Name2 }}
{{ else }}
no one
{{ end }}
複製代碼

Range語法

模板裏使用range來進行遍歷數據，相似於jinja2模板語言中的for，例如：假設數據結構爲:

type Info struct {
    Name string
    Age int
}
複製代碼

而後模板寫法以下：

{{ range .Info }}
name: {{ .Name }}
age: {{ .Age }}
{{ end }}
複製代碼

比較

eq 等於
ne 不等於
lt 小於
le 小於等於
gt 大於
ge 大於等於

能夠作判斷比較之類的

{{ if gt .Number1 .Number2 }}
{{ .Number1 }}大於{{ .Number2 }}
{{ end }}
複製代碼

邏輯運算

and 全都知足，返回true
not 取反
or 有一個爲true,便可返回true

作一些邏輯運算，好比說

{{ if and .Username .Passwd }}
begin login
{{ if gt (len .Passwd) 16 }}
passwd valid
{{ end }}
{{ else }}
login faild
{{ end }}
複製代碼

{{ if not .Authenticated }}
access deny
{{ end }}
複製代碼

內置函數

title: 將字符串轉換爲首字母大寫
toUpper: 全部字母轉換成大寫
toLower: 全部字母轉換成小寫
join: 拼接字符串
safeHtml: 將字符串標記爲不須要自動轉義的html
len: 獲取長度

簡單舉例：

{{ "abcd" | toUpper }}
{{ "ABCD" | toLower }}
{{ .Values | join "," }}
複製代碼

移除空格

寫過ansible-playbook的必定知道，在使用jinja2寫模板的時候，縮進、空格會讓人很頭疼，go語言的模板一樣也是如此，也是使用-減號來作處理

{{- }} #去掉左邊的空格
{{ -}} #去掉右邊的空格
{{- -}} #去掉兩邊全部的空格
複製代碼

數據結構介紹

.Receiver: 接收器的名稱
.Status: 若是正在告警，值爲firing，恢復爲resolved
.Alerts: 全部告警對象的列表，是一個列表，
.Alerts.Firing: 告警列表
.Alerts.Resolved: 恢復列表
.GroupLabels: 告警的分組標籤
.CommonLabels: 全部告警共有的標籤
.CommonAnnotations: 全部告警共有的註解
.ExternalURL: 告警對應的alertmanager鏈接地址
複製代碼

具體能夠看下報警出來的信息：

{
	'receiver': 'webhook',
	'status': 'firing',
	'alerts': [{
		'status': 'firing',
		'labels': {
			'alertname': '內存使用率',
			'instance': '10.127.92.100',
			'job': 'sentry',
			'severity': 'warning',
			'team': 'ops'
		},
		'annotations': {
			'description': '內存使用率已超過55%，內存使用率：58%',
			'summary': '內存使用率'
		},
		'startsAt': '2020-12-30T07:20:08.775177336Z',
		'endsAt': '0001-01-01T00:00:00Z',
		'generatorURL': 'http://prometheus-server:9090/graph?g0.expr=round%28%281+-+%28node_memory_MemAvailable_bytes%7Bjob%3D%22sentry%22%7D+%2F+%28node_memory_MemTotal_bytes%7Bjob%3D%22sentry%22%7D%29%29%29+%2A+100%29+%3E+55&g0.tab=1',
		'fingerprint': '09f94bd1aa7da54f'
	}],
	'groupLabels': {
		'alertname': '內存使用率'
	},
	'commonLabels': {
		'alertname': '內存使用率',
		'job': 'sentry',
		'severity': 'warning',
		'team': 'ops'
	},
	'commonAnnotations': {
		'summary': '內存使用率'
	},
	'externalURL': 'http://alertmanager-server:9093',
	'version': '4',
	'groupKey': '{}:{alertname="內存使用率"}',
	'truncatedAlerts': 0
}
複製代碼

這麼一看是否是就清晰了。

模板參考示例

下面看一下示例

官方模板參考：https://raw.githubusercontent.com/prometheus/alertmanager/master/template/default.tmpl

{{ define "wechat.default.message" }}
{{- if gt (len .Alerts.Firing) 0 -}} // 判斷報警列表的長度是否大於0，大於0說明有報警，不然沒有
{{- range $index, $alert := .Alerts -}} // 遍歷全部的告警列表，$index是索引，$alert是每個報警元素
==========異常告警==========
告警類型: {{ $alert.Labels.alertname }}
告警級別: {{ $alert.Labels.severity }}
告警詳情: {{ $alert.Annotations.description}};{{$alert.Annotations.summary}}
故障時間: {{ ($alert.StartsAt.Add 28800e9).Format "2006-01-02 15:04:05" }} // 調整爲北京時間
{{- if gt (len $alert.Labels.instance) 0 }} // 判斷下是否存在instance
實例信息: {{ $alert.Labels.instance }}
{{- end }}
============END============
{{- end }}
{{- end }}
{{- if gt (len .Alerts.Resolved) 0 -}} // 判斷恢復列表長度是否大於0，大於0說明有恢復信息，不然沒有
{{- range $index, $alert := .Alerts -}} //遍歷恢復列表
==========異常恢復==========
告警類型: {{ $alert.Labels.alertname }}
告警級別: {{ $alert.Labels.severity }}
告警詳情: {{ $alert.Annotations.description}};{{$alert.Annotations.summary}}
故障時間: {{ ($alert.StartsAt.Add 28800e9).Format "2006-01-02 15:04:05" }} #調整爲北京時間
恢復時間: {{ ($alert.EndsAt.Add 28800e9).Format "2006-01-02 15:04:05" }} #調整爲北京時間
{{- if gt (len $alert.Labels.instance) 0 }}
實例信息: {{ $alert.Labels.instance }}
{{- end }}
============END============
{{- end }}
{{- end }}
{{- end }}
複製代碼

須要特別說明下告警信息裏的時間是utc時間，須要轉換爲北京時間，也就是在utc時間的基礎上加8小時，也就是28800秒，也就是這裏寫的28800e9

基本上到這兒，咱們對如何編寫告警信息模板有了一個很清晰的認識，下面看下如何配置到alertmanager裏，其實以前的文章也說過了，下面再說下：

receivers:
- name: 'wechat'
  wechat_configs:
  - send_resolved: true
    message: '{{ template "wechat.default.message" . }}' 
    to_party: '接收告警的部門ID'
    agent_id: '應用ID'
    to_user: '用戶ID'
    api_secret: '部門secret'
複製代碼

wechat.default.message就是上面define的模板名稱