告警系統主腳本&告警系統配置文件&告警系統監控項目

20.20 告警系統主腳本

準備工做

定義監控系統的各個目錄，而後再去定義主腳本，由於是分佈式的，因此須要每一臺機器都須要定義，事先建立好各個腳本和各個目錄，隨後腳本直接拷貝過去便可，而後再去作一些更改

注：全部的shell腳本放到 /usr/local/sbin/ 目錄下，方便查找

建立系統所需目錄

[root@linux-5 sbin]# mkdir mon
[root@linux-5 sbin]# cd mon
[root@linux-5 mon]# mkdir bin conf shares log mail
[root@linux-5 mon]# ls
bin  conf  log  mail  shares

編寫主腳本

切換到 bin 目錄下（主腳本放在 bin 目錄下，主腳本做爲一個入口，應該去判斷配置文件，查看某監控項目是否須要監控，還需調用各個須要監控的子腳本）

[root@linux-5 mon]# cd bin
[root@linux-5 bin]# vim main.sh
#!/bin/bash
# 是否發送郵件的開關（告警的總開關）
export send=1
#只要把send 改爲了1 ，就會給下面全部的監控的項目都會發送郵件，export表示全部的變量會應用在全部的子腳本里（如果系統處於維護狀態，就須要關閉全部的服務，這時候就須要先把告警關閉，不然會一直髮郵件）
# 過濾ip地址；能夠加定義一個hostname，這樣能夠知道是哪臺機器
export addr=`ifconfig|grep -A1 "ens33: " |tail -1|awk '{print $2}';hostname`
# 找一下當前腳本所在的目錄，由於並非每臺機器都把監控系統放在測試的目錄下，保證系統的通用性
dir=`pwd`
# 只須要最後一級目錄名,$NF表明最後一段
last_dir=`echo $dir|awk -F'/' '{print $NF}'`
# 下面的判斷目的是，保證執行腳本的時候，咱們在bin目錄裏，否則監控腳本、郵件和日誌頗有可能找不到
if [ $last_dir == "bin" ] || [ $last_dir == "bin/" ]; then
    conf_file="../conf/mon.conf"
else
    echo "you shoud cd bin dir"
    exit
fi
#日誌記錄，在當前環境下調用正確與錯誤追加劇定向記錄在相應日誌中
exec 1>>../log/mon.log 2>>../log/err.log
#求出系統負載
echo "`date +"%F %T"` load average"
#調用子腳本
/bin/bash ../shares/load.sh
#先檢查配置文件中是否須要監控502，到配置文件中遍歷一遍，看看是否須要監控502
if grep -q 'to_mon_502=1' $conf_file; then
    export log=`grep 'logfile=' $conf_file |awk -F '=' '{print $2}' |sed 's/ //g'`
#找出log的路徑
    /bin/bash  ../shares/502.sh
fi

20.21 告警系統配置文件

配置文件必定要放到conf目錄下，名稱必須爲mon.conf（不能隨意改動，要與主腳本中的設置保持一致）

定義一些開關，定義一些對應的日誌路徑，或者說定義監控的mysql所使用的用戶名和密碼，以及IP地址port端口等

[root@linux-5 bin]# cd ..
[root@linux-5 mon]# vim conf/mon.conf
## to config the options if to monitor
## 定義mysql的服務器地址、端口以及user、password
to_mon_cdb=0   
 ##cdb等於0 or 1, default 0,0 not monitor, 1 monitor
db_ip=10.20.3.13
db_port=3315
db_user=username
db_pass=passwd
## httpd   若是是1則監控，爲0不監控
to_mon_httpd=0
## php 若是是1則監控，爲0不監控
to_mon_php_socket=0
## http_code_502  須要定義訪問日誌的路徑
to_mon_502=1
logfile=/data/log/xxx.xxx.com/access.log
## request_count   定義日誌路徑以及域名
to_mon_request_count=0
req_log=/data/log/www.discuz.net/access.log
domainname=www.discuz.net

注：把請求日誌摘出來的目的，是考慮到要想把shell寫得規範化，標準化，確定要考慮監控的機器確定不止1臺；要想要讓腳本通用，兼容性很強，就須要把全部須要監控的服務的日誌都載入到配置文件中，改動起來方便，免得後期改動起來一個一個的對應腳本去修改，會十分麻煩

20.22 告警系統監控項目

編寫子腳本，即編寫具體的監控項目

load.sh

load.sh是必需要有的，由於在主腳本中已經定義了任何一臺機器都要監控系統負載

[root@linux-5 mon]# cd shares/
[root@linux-5 shares]# vim load.sh

#! /bin/bash
##Writen by aming##
load=`uptime |awk -F 'average:' '{print $2}'|cut -d',' -f1|sed 's/ //g' |cut -d. -f1`
#計算系統負載
if [ $load -gt 10 ] && [ $send -eq "1" ]
then
    echo "$addr `date +%T` load is $load" >../log/load.tmp  
#這條命令的目的是爲了發送日誌
    /bin/bash ../mail/mail.sh aming_test@163.com "$addr\_load:$load" `cat ../log/load.tmp`
fi
echo "`date +%T` load is $load"

502.sh

監控的內容是訪問日誌中的502狀況，502涉及到一個訪問日誌，訪問日誌又涉及到一個時間

由於監控腳本的主腳本是1分鐘執行一次，因此502監控，看的確定1分鐘之前訪問日誌的時間和信息

[root@linux-5 shares]# vim 502.sh

#! /bin/bash
d=`date -d "-1 min" +%H:%M`
c_502=`grep :$d:  $log  |grep ' 502 '|wc -l`
#截取一分鐘之前的時間
if [ $c_502 -gt 10 ] && [ $send == 1 ]; then
     echo "$addr $d 502 count is $c_502">../log/502.tmp
     /bin/bash ../mail/mail.sh $addr\_502 $c_502  ../log/502.tmp
#mail就是定義發送給誰，發送的主題，發送的內容
fi
echo "`date +%T` 502 $c_502"

disk.sh

監控內容是磁盤使用率，腳本的思路是查看各個分區的使用狀況

[root@linux-5 shares]# vim disk.sh

#! /bin/bash
##Writen by aming##
rm -f ../log/disk.tmp
for r in `df -h |awk -F '[ %]+' '{print $5}'|grep -v Use`  
#[ %]+  以 多個，空格 或者 %   做爲分隔符，+號表示一個或多個；由於系統默認是英文，因此grep -v Use 過濾掉的就是 已用
do
    if [ $r -gt 90 ] && [ $send -eq "1" ]
then
    echo "$addr `date +%T` disk useage is $r" >>../log/disk.tmp
fi
done

if [ -f ../log/disk.tmp ]
then
    df -h >> ../log/disk.tmp
    /bin/bash ../mail/mail.sh $addr\_disk $r ../log/disk.tmp
    echo "`date +%T` disk useage is nook"
else
    echo "`date +%T` disk useage is ok"
fi