程序架構:php
bin 下是主程序:mysql
conf 下是配置文件:sql
shares 是各個監控腳本:shell
mail 是郵件引擎:vim
log 是日記:bash
1:告警系統主腳本:在bin目錄下:服務器
註釋:定義監控系統的各個目錄,而後再去定義主腳本,由於是分佈式,因此每一臺設備都須要定義,事先建立好各個腳本和目錄,而後拷貝過去對應的腳本,而後再作一些更改:架構
註釋:全部的腳本都放在/usr/local/sbin目錄下:dom
1:首先切換到/usr/local/sbin目錄下,並建立bin conf share log mail五個目錄:socket
[root@localhost_01 ~]# cd /usr/local/sbin/ [root@localhost_01 sbin]# mkdir mon [root@localhost_01 sbin]# cd mon/ [root@localhost_01 mon]# mkdir bin conf shares log mail
2:切換到bin目錄下(主腳本放在bin目錄下做爲一個入口,應該去判斷配置文件,查看某監控項目是否須要監控,還須要調用各個須要監控的子腳本):
[root@localhost_01 mon]# cd bin/ [root@localhost_01 bin]# vim main.sh #!/bin/bash #Written by yhh. # 是否發送郵件的開關: export send=1 #只要把send 改爲了1 ,就會給下面全部的監控的項目都會發送郵件,export表示全部的變量會應用在全部的子腳本里(如果系統處於維護狀態,就須要關閉全部的服務,這時候就須要先把告警關閉,不然會一直髮郵件,只是關閉告警,不會關閉監控) # 過濾ip地址;能夠加定義一個hostname,這樣能夠知道是哪臺機器: export addr=`/sbin/ifconfig |grep -A1 "eth0: "|awk '/inet/ {print $2}'` dir=`pwd` # 找一下當前腳本所在的目錄 # 只須要最後一級目錄名 last_dir=`echo $dir|awk -F'/' '{print $NF}'` # 下面的判斷目的是,保證執行腳本的時候,咱們在bin目錄裏,否則監控腳本、郵件和日誌頗有可能找不到: if [ $last_dir == "bin" ] || [ $last_dir == "bin/" ]; then conf_file="../conf/mon.conf" else echo "you shoud cd bin dir" exit fi #日誌記錄 #exec 1>>../log/mon.log 2>>../log/err.log echo "`date +"%F %T"` load average" #求出系統負載 /bin/bash ../shares/load.sh #先檢查配置文件中是否須要監控502,到配置文件中遍歷一遍,看看是否須要監控502: if grep -q 'to_mon_502=1' $conf_file; then export log=`grep 'logfile=' $conf_file |awk -F '=' '{print $2}' |sed 's/ //g'` #找出log的路徑: /bin/bash ../shares/502.sh fi
2:告警系統配置文件 須要在conf 下的mon.conf文件:
註釋:必定要放在conf目錄下,而且名稱爲mon.conf(名稱不要隨便改動,由於在主配置文件以及定義好了):
註釋:定義一些開關,一些對應的日記路徑,監控mysql的用戶名和密碼,以及IP地址和端口等:
[root@localhost_01 mon]# cd conf/ [root@localhost_01 conf]# vim mon.conf ## to config the options if to monitor ## 定義mysql的服務器地址、端口以及user、password to_mon_cdb=0 ##cdb等於0 or 1, default 0,0 not monitor, 1 monitor db_ip=10.20.3.13 db_port=3315 db_user=username db_pass=passwd ## httpd 若是是1則監控,爲0不監控 to_mon_httpd=0 ## php 若是是1則監控,爲0不監控 to_mon_php_socket=0 ## http_code_502 須要定義訪問日誌的路徑 to_mon_502=0 logfile=/data/log/xxx.xxx.com/access.log ## request_count 定義日誌路徑以及域名 to_mon_request_count=0 req_log=/data/log/www.discuz.net/access.log domainname=www.discuz.net
註釋:請求日誌摘出來的目的,你要考慮到要想把shell寫得規範化,標準化,那你確定要考慮監控的機器確定不止1臺;要想要讓腳本通用,兼容性很強,就須要把全部須要監控的服務的日誌都載入到配置文件中,改動起來方便,免得後期改動起來一個一個的對應腳本去修改,就太麻煩了。
3:告警系統監控項目:定義子腳本:
第一個load.sh必需要有的,由於在在主腳本已經定義了任何一臺機器都要監控系統負載:
[root@localhost_01 conf]# cd .. [root@localhost_01 mon]# cd shares/ [root@localhost_01 shares]# vim load.sh #! /bin/bash ##Writen by yyl## load=`uptime |awk -F 'average:' '{print $2}'|cut -d',' -f1` #計算系統負載 if [ $load -gt 0 ] && [ $send -eq "1" ] then echo "$addr `date +%T` load is $load" >../log/load.tmp #這條命令的目的是爲了發送日誌 /bin/bash ../mail/mail.sh yzhm188@163.com "$addr\_load:$load" "`cat ../log/load.tmp`" fi echo "`date +%T` load is $load"
502.sh腳本,(502須要一個訪問日記,經過日記裏狀態碼來定義,而訪問日記有涉及到一個時間):
註釋:由於腳本監控主腳本(/bin/main.sh)是的是1分鐘執行一次,因此502監控看的確定1分鐘之前訪問日誌的時間信息:
[root@localhost_01 shares]# vim 502.sh [root@localhost_01 shares]# cat 502.sh #! /bin/bash d=`date -d "-1 min" +%H:%M` c_502=`grep :$d: $log |grep ' 502 '|wc -l` #截取一分鐘之前的時間 if [ $c_502 -gt 10 ] && [ $send == 1 ]; then echo "$addr $d 502 count is $c_502">../log/502.tmp /bin/bash ../mail/mail.sh $addr\_502 $c_502 ../log/502.tmp #mail就是定義發送給誰,發送的主題,發送的內容 fi echo "`date +%T` 502 $c_502"
dish.sh(磁盤使用率):思路:就是把幾個分區挨個看一下:
[root@localhost_01 shares]# vim disk.sh #! /bin/bash ##Writen by yyl## rm -f ../log/disk.tmp LANG=en for r in `df -h |awk -F '[ %]+' '{print $5}'|grep -v Use` #[ %]+ 以 多個,空格 或者 % 做爲分隔符,+號表示一個或多個;由於系統默認是英文,因此grep -v Use 過濾掉的就是 已用 do if [ $r -gt 90 ] && [ $send -eq "1" ] then echo "$addr `date +%T` disk useage is $r" >>../log/disk.tmp fi done if [ -f ../log/disk.tmp ] then df -h >> ../log/disk.tmp /bin/bash ../mail/mail.sh $addr\_disk $r ../log/disk.tmp echo "`date +%T` disk useage is nook" else echo "`date +%T` disk useage is ok" fi
註釋:awk -F '[ %]+' '{print $5}' 此處表示多個百分號或者空格(加號) awk處理字符的時候是能夠指定多個字符做爲分隔符:以下:
[root@localhost_01 shares]# echo "12:234234#sdfadsf:w34234#dsfsadf" |awk -F '[:#]' '{print $3}' sdfadsf [root@localhost_01 shares]# echo "12:234234#sdfadsf:w34234#dsfsadf" |awk -F '[:#]' '{print $NF}' dsfsadf [root@localhost_01 shares]# echo "12:234234#sdfadsf:w34234#dsfsadf" |awk -F '[:#]' '{print NF}' 5 [root@localhost_01 shares]# echo "12:234234#sdfadsf:w34234##dsfsadf" |awk -F '[:#]' '{print NF}' 6 [root@localhost_01 shares]# echo "12:234234#sdfadsf:w34234##dsfsadf" |awk -F '[:#]+' '{print NF}' 5 等同於上面的: [root@localhost_01 shares]# echo "12:234234#sdfadsf:w34234#dsfsadf" |awk -F ':|#' '{print NF}' 5 [root@localhost_01 shares]# echo "12:234234#sdfadsf:w34234#dsfsadf" |awk -F ':|#' '{print $3}' sdfadsf
註釋:awk指定多個分隔符:
awk -F ':|#' ======= awk -F '[ :#]'
不過第二種方法的可使用加號來指定重複的多個分隔符,如: awk -F '[ #]+' 表示多個空格或者#號爲分隔符: