Python與rrdtool的結合模塊

時間 2019-11-08

原文原文鏈接

rrdtool（round robin database）工具爲環狀數據庫的存儲格式，round robin是一種處理定量數據以及當前元素指針的技術。rrdtool主要用來跟蹤對象的變化狀況，生成這些變化的走勢圖，好比業務的訪問流量、系統性能、磁盤利用率等趨勢圖，不少流行監控平臺都使用到rrdtool，比較有名的爲Cacti、Ganglia、Monitorix等。更多rrdtool介紹見官網http://oss.oetiker.ch/rrdtool/。rrdtool是一個複雜的工具，涉及較多參數概念，本節主要經過Python的rrdtool模塊對rrdtool的幾個經常使用方法進行封裝，包括create、fetch、graph、info、update等方法，本節對rrdtool的基本知識不展開說明，重點放在Python rrdtool模塊的經常使用方法使用介紹上。html

rrdtool模塊的安裝方法以下：
python

easy_install python-rrdtool #pip安裝方法
pip install python-rrdtool #easy_install安裝方法
#須要rrdtool工具及其餘類包支持，CentOS環境推薦使用yum安裝方法
# yum install rrdtool-python

3.2.1　rrdtool模塊經常使用方法說明

下面介紹rrdtool模塊經常使用的幾個方法，包括create（建立rrd）、update（更新rrd）、graph（繪圖）、fetch（查詢rrd）等。數據庫

1. Create方法express

create filename [--start|-b start time] [--step|-s step] [DS:ds-name:DST:heartbeat:min:max] [RRA:CF:xff:steps:rows]方法，建立一個後綴爲rrd的rrdtool數據庫，參數說明以下：服務器

filename建立的rrdtool數據庫文件名，默認後綴爲.rrd；網絡

--start指定rrdtool第一條記錄的起始時間，必須是timestamp的格式；工具

--step指定rrdtool每隔多長時間就收到一個值，默認爲5分鐘；性能

DS用於定義數據源，用於存放腳本的結果的變量；fetch

DST用於定義數據源類型，rrdtool支持COUNTER（遞增類型）、DERIVE（可遞增可遞減類型）、ABSOLUTE（假定前一個時間間隔的值爲0，再計算平均值）、GUAGE（收到值後直接存入RRA）、COMPUTE（定義一個表達式，引用DS並自動計算出某個值）5種，好比網卡流量屬於計數器型，應該選擇COUNTER；spa

RRA用於指定數據如何存放，咱們能夠把一個RRA當作一個表，保存不一樣間隔的統計結果數據，爲CF作數據合併提供依據，定義格式爲：[RRA:CF:xff:steps:rows]；

CF統計合併數據，支持AVERAGE（平均值）、MAX（最大值）、MIN（最小值）、LAST（最新值）4種方式。

2. update方法

update filename [--template|-t ds-name[:ds-name]...] N|timestamp:value[:value...] [timestamp:value[:value...] ...] 方法，存儲一個新值到rrdtool數據庫，updatev和update相似，區別是每次插入後會返回一個狀態碼，以便了解是否成功（updatev用0表示成功，–1表示失敗）。參數說明以下：

filename指定存儲數據到的目標rrd文件名；

-t ds-name[:ds-name]指定須要更新的DS名稱；

N|Timestamp表示數據採集的時間戳，N表示當前時間戳；

value[:value...]更新的數據值，多個DS則多個值。

3. graph方法

graph filename [-s|--start seconds] [-e|--end seconds] [-x|--x-grid x-axis grid and label] [-y|--y-grid y-axis grid and label] [--alt-y-grid] [--alt-y-mrtg] [--alt-autoscale] [--alt-autoscale-max] [--units-exponent] value [-v|--vertical-label text] [-w|--width pixels] [-h|--height pixels] [-i|--interlaced] [-f|--imginfo formatstring] [-a|--imgformat GIF|PNG|GD] [-B|--background value] [-O|--overlay value] [-U|--unit value] [-z|--lazy] [-o|--logarithmic] [-u|--upper-limit value] [-l|--lower-limit value] [-g|--no-legend] [-r|--rigid] [--step value] [-b|--base value] [-c|--color COLORTAG#rrggbb] [-t|--title title] [DEF:vname=rrd:ds-name:CF] [CDEF:vname=rpn-expression] [PRINT:vname:CF:format] [GPRINT:vname:CF:format] [COMMENT:text] [HRULE:value#rrggbb[:legend]] [VRULE:time#rrggbb[:legend]] [LINE{1|2|3}:vname[#rrggbb [:legend]]] [AREA:vname[#rrggbb[:legend]]] [STACK:vname[#rrggbb[:legend]]]方法，根據指定的rrdtool數據庫進行繪圖，關鍵參數說明以下：

filename指定輸出圖像的文件名，默認是PNG格式；

--start指定起始時間；

--end指定結束時間；

--x-grid控制X軸網格線刻度、標籤的位置；

--y-grid控制Y軸網格線刻度、標籤的位置；

--vertical-label指定Y軸的說明文字；

--width pixels指定圖表寬度（像素）；

--height pixels指定圖表高度（像素）；

--imgformat指定圖像格式（GIF|PNG|GD）；

--background指定圖像背景顏色，支持#rrggbb表示法；

--upper-limit指定Y軸數據值上限；

--lower-limit指定Y軸數據值下限；

--no-legend取消圖表下方的圖例；

--rigid嚴格按照upper-limit與lower-limit來繪製；

--title圖表頂部的標題；

DEF:vname=rrd:ds-name:CF指定繪圖用到的數據源；

CDEF:vname=rpn-expression合併多個值；

GPRINT:vname:CF:format圖表的下方輸出最大值、最小值、平均值等；

COMMENT:text指定圖表中輸出的一些字符串；

HRULE:value#rrggbb用於在圖表上面繪製水平線；

VRULE:time#rrggbb用於在圖表上面繪製垂直線；

LINE{1|2|3}:vname使用線條來繪製數據圖表，{1|2|3}表示線條的粗細；

AREA:vname使用面積圖來繪製數據圖表。

4. fetch方法

fetch filename CF [--resolution|-r resolution] [--start|-s start] [--end|-e end]方法，根據指定的rrdtool數據庫進行查詢，關鍵參數說明以下：

filename指定要查詢的rrd文件名；

CF包括AVERAGE、MAX、MIN、LAST，要求必須是建庫時RRA中定義的類型，不然會報錯；

--start --end指定查詢記錄的開始與結束時間，選項的值必是 timestamp 的格式,默承認省略。

獲取當前時間的時間戳：date +%s

3.2.2　實踐：實現網卡流量圖表繪製

在平常運營工做當中，觀察數據的變化趨勢有利於瞭解咱們的服務質量，好比在系統監控方面，網絡流量趨勢圖直接展示了當前網絡的吞吐。 CPU、內存、磁盤空間利用率趨勢則反映了服務器運行健康狀態。經過這些數據圖表管理員能夠提早作好應急預案，對可能存在的風險點作好防範。本次實踐經過rrdtool模塊實現服務器網卡流量趨勢圖的繪製，即先經過create方法建立一個rrd數據庫，再經過update方法實現數據的寫入，最後能夠經過graph方法實現圖表的繪製，以及提供last、first、info、fetch方法的查詢。圖3-12爲rrd建立到輸出圖表的過程。

第一步　採用create方法建立rrd數據庫，參數指定了一個rrd文件、更新頻率setp、起始時間--start、數據源DS、數據源類型DST、數據週期定義RRA等，詳細源碼以下：

【/root/xls/create.py】

 1 # -*- coding: utf-8 -*-  
 2 # !/usr/bin/python  
 3 import rrdtool
 4 import time
 5 
 6 cur_time = str(int(time.time()))  # 獲取當前Linux時間戳做爲rrd起始時間  
 7 # 數據寫頻率--step爲300秒(即5分鐘一個數據點)  
 8 rrd = rrdtool.create('Flow.rrd', '--step', '300', '--start', cur_time,
 9                      # 定義數據源eth1_in(入流量)、eth1_out(出流量)；類型都爲COUNTER(遞增)；600秒爲心跳值，  
10                      # 其含義是600秒沒有收到值，則會用UNKNOWN代替；0爲最小值；最大值用U代替，表示不肯定  
11                      'DS:eth1_in:COUNTER:600:0:U',
12                      'DS:eth1_out:COUNTER:600:0:U',
13 
14                      # RRA定義格式爲[RRA:CF:xff:steps:rows]，CF定義了AVERAGE、MAX、MIN三種數據合併方式  
15                      # xff定義爲0.5，表示一個CDP中的PDP值如超過一半值爲UNKNOWN，則該CDP的值就被標爲UNKNOWN  
16                      # 下列前4個RRA的定義說明以下，其餘定義與AVERAGE方式類似，區別是存最大值與最小值  
17                      # 每隔5分鐘(1*300秒)存一次數據的平均值,存600筆，即2.08天  
18                      # 每隔30分鐘(6*300秒)存一次數據的平均值,存700筆，即14.58天（2周）  
19                      # 每隔2小時(24*300秒)存一次數據的平均值,存775筆，即64.58天（2個月）  
20                      # 每隔24小時(288*300秒)存一次數據的平均值,存797筆，即797天(2年)  
21                      'RRA:AVERAGE:0.5:1:600',
22                      'RRA:AVERAGE:0.5:6:700',
23                      'RRA:AVERAGE:0.5:24:775',
24                      'RRA:AVERAGE:0.5:288:797',
25                      'RRA:MAX:0.5:1:600',
26                      'RRA:MAX:0.5:6:700',
27                      'RRA:MAX:0.5:24:775',
28                      'RRA:MAX:0.5:444:797',
29                      'RRA:MIN:0.5:1:600',
30                      'RRA:MIN:0.5:6:700',
31                      'RRA:MIN:0.5:24:775',
32                      'RRA:MIN:0.5:444:797')
33 if rrd:
34     print(rrdtool.error())

第二步　採用updatev方法更新rrd數據庫，參數指定了當前的Linux時間戳，以及指定eth1_in、eth1_out值（當前網卡的出入流量），網卡流量咱們經過psutil模塊來獲取，如psutil.network_io_counters()[1]爲入流量，關於psutil模塊的介紹見第1.1。詳細源碼以下：

【/root/xls/update.py】

 1 # -*- coding: utf-8 -*-  
 2 # !/usr/bin/python  
 3 import rrdtool
 4 import time, psutil
 5 
 6 total_input_traffic = psutil.network_io_counters()[1]  # 獲取網卡入流量  
 7 total_output_traffic = psutil.network_io_counters()[0]  # 獲取網卡出流量  
 8 starttime = int(time.time())  # 獲取當前Linux時間戳  
 9 # 將獲取到的三個數據做爲updatev的參數，返回{'return_value': 0L}則說明更新成功，反之失敗  
10 update = rrdtool.updatev('/root/xls/Flow.rrd',
11                          '%s:%s:%s' % (str(starttime), str(total_input_traffic), str(total_output_traffic)))
12 print(update)

將代碼加入crontab，並配置5分鐘做爲採集頻率，crontab配置以下：

*/5 * * * * /usr/bin/python /root/xls/update.py > /dev/null 2>&1

第三步　採用graph方法繪製圖表，此示例中關鍵參數使用了--x-grid定義X軸網格刻度；DEF指定數據源；使用CDEF合併數據；HRULE繪製水平線（告警線）；GPRINT輸出最大值、最小值、平均值等。詳細源碼以下：

【/root/xls/graph.py】

 1 # -*- coding: utf-8 -*-  
 2 # !/usr/bin/python  
 3 import rrdtool
 4 import time
 5 
 6 # 定義圖表上方大標題  
 7 title = "Server network  traffic flow (" + time.strftime('%Y-%m-%d', time.localtime(time.time())) + ")"
 8 # 重點解釋"--x-grid","MINUTE:12:HOUR:1:HOUR:1:0:%H"參數的做用（從左往右進行分解）  
 9 "MINUTE:12"  # 表示控制每隔12分鐘放置一根次要格線  
10 "HOUR:1"  # 表示控制每隔1小時放置一根主要格線  
11 "HOUR:1"  # 表示控制1個小時輸出一個label標籤  
12 "0:%H"  # 0表示數字對齊格線，%H表示標籤以小時顯示  
13 rrdtool.graph("Flow.png", "--start", "-1d", "--vertical-label=Bytes/s",
14               "--x-grid", "MINUTE:12:HOUR:1:HOUR:1:0:%H",
15               "--width", "650", "--height", "230", "--title", title,
16               "DEF:inoctets=Flow.rrd:eth1_in:AVERAGE",  # 指定網卡入流量數據源DS及CF  
17               "DEF:outoctets=Flow.rrd:eth1_out:AVERAGE",  # 指定網卡出流量數據源DS及CF  
18               "CDEF:total=inoctets,outoctets,+",  # 經過CDEF合併網卡出入流量，得出總流量total  
19 
20               "LINE1:total#FF8833:Total traffic",  # 以線條方式繪製總流量  
21               "AREA:inoctets#00FF00:In traffic",  # 以面積方式繪製入流量  
22               "LINE1:outoctets#0000FF:Out traffic",  # 以線條方式繪製出流量  
23               "HRULE:6144#FF0000:Alarm value\\r",  # 繪製水平線，做爲告警線，閾值爲6.1k  
24               "CDEF:inbits=inoctets,8,*",  # 將入流量換算成bit，即*8，計算結果給inbits  
25               "CDEF:outbits=outoctets,8,*",  # 將出流量換算成bit，即*8，計算結果給outbits  
26               "COMMENT:\\r",  # 在網格下方輸出一個換行符  
27               "COMMENT:\\r",
28               "GPRINT:inbits:AVERAGE:Avg In traffic\: %6.2lf %Sbps",  # 繪製入流量平均值  
29               "COMMENT:   ",
30               "GPRINT:inbits:MAX:Max In traffic\: %6.2lf %Sbps",  # 繪製入流量最大值  
31               "COMMENT:  ",
32               "GPRINT:inbits:MIN:MIN In traffic\: %6.2lf %Sbps\\r",  # 繪製入流量最小值  
33               "COMMENT: ",
34               "GPRINT:outbits:AVERAGE:Avg Out traffic\: %6.2lf %Sbps",  # 繪製出流量平均值  
35               "COMMENT: ",
36               "GPRINT:outbits:MAX:Max Out traffic\: %6.2lf %Sbps",  # 繪製出流量最大值  
37               "COMMENT: ",
38               "GPRINT:outbits:MIN:MIN Out traffic\: %6.2lf %Sbps\\r")  # 繪製出流量最小值