告警系統

思路：指定一個腳本包，包含主程式、子程式、配置檔案、郵件引擎、輸出日志等。

主程式：作為整個腳本的入口，是整個系統的命脈。

配置檔案：是一個控制中心，用它來開關各個子程式，指定各個相關聯的日志檔案。

子程式：這個才是真正的監控腳本，用來監控各個名額。

郵件引擎：是由一個php程式來實作，它可以定義發郵件的伺服器、發郵件人以及收郵件人。

輸出日志：整個監控系統要有日志輸出。

要求：我們的機器角色多種多樣，但是所有機器上都要部署同樣的監控系統，也就說所有機器不管什麼角色，整個程式架構都是一緻的，不同的地方在于根據不同的角色，定制不同的配置檔案。

程式架構：   

                                         （主目錄 mon）

                 ____________________|_______________________________

                |              |                    |                       |                             |

               bin          conf            shares                  mail                         log

           [main.sh] [ mon.conf] [load.sh 502.sh]  [mail.php mail.sh] [  mon.log  err.log ]

bin下是主程式

conf下是配置檔案

shares下是各個監控腳本

mail下是郵件引擎

log下是日志。

下面我發出幾個示例腳本

1.  main.sh

#!/bin/bash

#Written by aming.

# 是否發送郵件的開關

export send=1

# 過濾ip位址

export addr=`/sbin/ifconfig |grep -A1 'eth0' |grep addr: |awk '{print $2}'|awk -F: '{print $2}'`

dir=`pwd`

# 隻需要最後一級目錄名

last_dir=`echo $dir|awk -F'/' '{print $NF}'`

# 下面的判斷目的是，保證執行腳本的時候，我們在bin目錄裡，不然監控腳本、郵件和日志很有可能找不到

if [ $last_dir == "bin" ] || [ $last_dir == "bin/" ]; then

    conf_file="../conf/mon.conf"

else

    echo "you shoud cd bin dir"

    exit

fi

exec 1>>../log/mon.log 2>>../log/err.log

echo "`date +"%F %T"` load average"

/bin/bash ../shares/load.sh

#先檢查配置檔案中是否需要監控502

if grep -q 'to_mon_502=1' $conf_file; then

    export log=`grep 'logfile=' $conf_file |awk -F '=' '{print $2}' |sed 's/ //g'`

    /bin/bash  ../shares/502.sh

2.  配置檔案   mon.conf

## to config the options if to monitor

## cdb  主要定義mysql的伺服器位址、端口以及user、password

to_mon_cdb=0   ##0 or 1, default 0,0 not monitor, 1 monitor

cdb_ip=10.20.3.13

cdb_port=3315

cdb_user=username

cdb_pass=passwd

## httpd   如果是1則監控，為0不監控

to_mon_httpd=0

## php 如果是1則監控，為0不監控

to_mon_php_socket=0

## http_code_502  需要定義通路日志的路徑

to_mon_502=1

logfile=/data/log/xxx.xxx.com/access.log

## request_count   定義日志路徑以及域名

to_mon_request_count=0

req_log=/data/log/www.discuz.net/access.log

3.  load.sh

#! /bin/bash

##Writen by aming##

load=`uptime |awk -F 'average:' '{print $2}'|cut -d',' -f1|sed 's/ //g' |cut -d. -f1`

if [ $load -gt 20 ] && [ $send -eq "1" ]

then

    echo "$addr `date +%T` load is $load" >../log/load.tmp

    /bin/bash ../mail/mail.sh $addr\_load $load ../log/load.tmp

echo "`date +%T` load is $load"

4.  502.sh

d=`date -d "-1 min" +%H:%M`

c_502=`grep :$d:  $log  |grep ' 502 '|wc -l`

if [ $c_502 -gt 10 ] && [ $send == 1 ]; then

     echo "$addr $d 502 count is $c_502">../log/502.tmp

     /bin/bash ../mail/mail.sh $addr\_502 $c_502  ../log/502.tmp

echo "`date +%T` 502 $c_502"

5. mail.php

<?php

class Smtp

{

    /* Public Variables */

    var $smtp_port;

    var $time_out;

    var $host_name;

    var $log_file;

    var $relay_host;

    var $debug;

    var $auth;

    var $user;

    var $pass;

    /* Private Variables */

    var $sock;

    /* Constractor */

    function Smtp($relay_host = "", $smtp_port = 25,$auth = false,$user,$pass)

    {

        $this->debug = FALSE;

        $this->smtp_port = $smtp_port;

        $this->relay_host = $relay_host;

        $this->time_out = 30; //is used in fsockopen()

        #

        $this->auth = $auth;//auth

        $this->user = $user;

        $this->pass = $pass;

        $this->host_name = "localhost"; //is used in HELO command

        $this->log_file = "";

        $this->sock = FALSE;

    }

    /* Main Function */

    function sendmail($to, $from, $subject = "", $body = "", $mailtype, $cc = "", $bcc = "", $additional_headers = "")

        $mail_from = $this->get_address($this->strip_comment($from));

        $body = ereg_replace("(^|(\r\n))(\.)", "\1.\3", $body);

        $header = "MIME-Version:1.0\r\n";

        if($mailtype=="HTML"){

            $header .= "Content-Type:text/html\r\n";

        }

        $header .= "To: ".$to."\r\n";

        if ($cc != "") {

            $header .= "Cc: ".$cc."\r\n";

        $header .= "From: $from<".$from.">\r\n";

        $header .= "Subject: ".$subject."\r\n";

        $header .= $additional_headers;

        $header .= "Date: ".date("r")."\r\n";

        $header .= "X-Mailer:By Redhat (PHP/".phpversion().")\r\n";

        list($msec, $sec) = explode(" ", microtime());

        $header .= "Message-ID: <".date("YmdHis", $sec).".".($msec*1000000).".".$mail_from.">\r\n";

        $TO = explode(",", $this->strip_comment($to));

            $TO = array_merge($TO, explode(",", $this->strip_comment($cc)));

        if ($bcc != "") {

            $TO = array_merge($TO, explode(",", $this->strip_comment($bcc)));

        $sent = TRUE;

        foreach ($TO as $rcpt_to) {

            $rcpt_to = $this->get_address($rcpt_to);

            if (!$this->smtp_sockopen($rcpt_to)) {

                $this->log_write("Error: Cannot send email to ".$rcpt_to."\n");

                $sent = FALSE;

                continue;

            }

            if ($this->smtp_send($this->host_name, $mail_from, $rcpt_to, $header, $body)) {

                $this->log_write("E-mail has been sent to <".$rcpt_to.">\n");

            } else {

                $this->log_write("Error: Cannot send email to <".$rcpt_to.">\n");

            fclose($this->sock);

            $this->log_write("Disconnected from remote host\n");

        return $sent;

/* Private Functions */

   function smtp_send($helo, $from, $to, $header, $body = "")

        if (!$this->smtp_putcmd("HELO", $helo)) {

            return $this->smtp_error("sending HELO command");

        #auth

        if($this->auth){

            if (!$this->smtp_putcmd("AUTH LOGIN", base64_encode($this->user))) {

                return $this->smtp_error("sending HELO command");

            if (!$this->smtp_putcmd("", base64_encode($this->pass))) {

        if (!$this->smtp_putcmd("MAIL", "FROM:<".$from.">")) {

            return $this->smtp_error("sending MAIL FROM command");

        if (!$this->smtp_putcmd("RCPT", "TO:<".$to.">")) {

            return $this->smtp_error("sending RCPT TO command");

        if (!$this->smtp_putcmd("DATA")) {

            return $this->smtp_error("sending DATA command");

        if (!$this->smtp_message($header, $body)) {

            return $this->smtp_error("sending message");

        if (!$this->smtp_eom()) {

            return $this->smtp_error("sending <CR><LF>.<CR><LF> [EOM]");

        if (!$this->smtp_putcmd("QUIT")) {

            return $this->smtp_error("sending QUIT command");

        return TRUE;

    function smtp_sockopen($address)

        if ($this->relay_host == "") {

            return $this->smtp_sockopen_mx($address);

        } else {

            return $this->smtp_sockopen_relay();

    function smtp_sockopen_relay()

        $this->log_write("Trying to ".$this->relay_host.":".$this->smtp_port."\n");

        $this->sock = @fsockopen($this->relay_host, $this->smtp_port, $errno, $errstr, $this->time_out);

        if (!($this->sock && $this->smtp_ok())) {

            $this->log_write("Error: Cannot connenct to relay host ".$this->relay_host."\n");

            $this->log_write("Error: ".$errstr." (".$errno.")\n");

            return FALSE;

        $this->log_write("Connected to relay host ".$this->relay_host."\n");

    function smtp_sockopen_mx($address)

        $domain = ereg_replace("^.+@([^@]+)$", "\1", $address);

        if (!@getmxrr($domain, $MXHOSTS)) {

            $this->log_write("Error: Cannot resolve MX \"".$domain."\"\n");

        foreach ($MXHOSTS as $host) {

            $this->log_write("Trying to ".$host.":".$this->smtp_port."\n");

           $this->sock = @fsockopen($host, $this->smtp_port, $errno, $errstr, $this->time_out);

            if (!($this->sock && $this->smtp_ok())) {

                $this->log_write("Warning: Cannot connect to mx host ".$host."\n");

                $this->log_write("Error: ".$errstr." (".$errno.")\n");

               continue;

            $this->log_write("Connected to mx host ".$host."\n");

            return TRUE;

        $this->log_write("Error: Cannot connect to any mx hosts (".implode(", ", $MXHOSTS).")\n");

       return FALSE;

    function smtp_message($header, $body)

      fputs($this->sock, $header."\r\n".$body);

        $this->smtp_debug("> ".str_replace("\r\n", "\n"."> ", $header."\n> ".$body."\n> "));

    function smtp_eom()

   {

        fputs($this->sock, "\r\n.\r\n");

        $this->smtp_debug(". [EOM]\n");

        return $this->smtp_ok();

    function smtp_ok()

        $response = str_replace("\r\n", "", fgets($this->sock, 512));

        $this->smtp_debug($response."\n");

        if (!ereg("^[23]", $response)) {

            fputs($this->sock, "QUIT\r\n");

            fgets($this->sock, 512);

            $this->log_write("Error: Remote host returned \"".$response."\"\n");

    function smtp_putcmd($cmd, $arg = "")

        if ($arg != "") {

           if($cmd=="") $cmd = $arg;

            else $cmd = $cmd." ".$arg;

        fputs($this->sock, $cmd."\r\n");

        $this->smtp_debug("> ".$cmd."\n");

    function smtp_error($string)

        $this->log_write("Error: Error occurred while ".$string.".\n");

        return FALSE;

    function log_write($message)

        $this->smtp_debug($message);

        if ($this->log_file == "") {

                return TRUE;

        $message = date("M d H:i:s ").get_current_user()."[".getmypid()."]: ".$message;

        if (!@file_exists($this->log_file) || !($fp = @fopen($this->log_file, "a"))) {

            $this->smtp_debug("Warning: Cannot open log file \"".$this->log_file."\"\n");

            return FALSE;;

        flock($fp, LOCK_EX);

        fputs($fp, $message);

        fclose($fp);

    function strip_comment($address)

        $comment = "\([^()]*\)";

       while (ereg($comment, $address)) {

            $address = ereg_replace($comment, "", $address);

        return $address;

    function get_address($address)

        $address = ereg_replace("([ \t\r\n])+", "", $address);

        $address = ereg_replace("^.*<(.+)>.*$", "\1", $address);

    function smtp_debug($message)

        if ($this->debug) {

        echo $message;

}

$file = $argv[2];

$smtpserver = "smtp.qq.com";//SMTP伺服器

$smtpserverport = "25";//SMTP伺服器端口

$smtpusermail = "[email protected]";//SMTP伺服器的使用者郵箱

$smtpemailto = "[email protected]";//發送給誰

$smtpuser = "1198658";//SMTP伺服器的使用者帳号

$smtppass = "1212lss";//SMTP伺服器的使用者密碼

$mailsubject = $argv[1];//郵件主題

$mailbody = file_get_contents($file);//郵件内容

$mailtype = "HTML";//郵件格式（HTML/TXT）,TXT為文本郵件

$smtp = new smtp($smtpserver,$smtpserverport,true,$smtpuser,$smtppass);//這裡面的一個true是表示使用身份驗證,否則不使用身份驗證.

//$smtp->debug = TRUE;//是否顯示發送的調試資訊

$smtp->sendmail($smtpemailto, $smtpusermail, $mailsubject, $mailbody, $mailtype);

?>

要想發郵件的話，首先要有php支援，若你沒有安裝過lamp或者lnmp，則需要運作yum install -y php 安裝。

然後運作  php  mail.php  "郵箱主題寫在這裡" "/tmp/test.txt"   。其中，/tmp/test.txt 内容為郵件内容。

6. mail.sh

    log=$1  

    t_s=`date +%s`

    t_s2=`date -d "2 hours ago" +%s`

    if [ ! -f /tmp/$log ]

    then

        echo $t_s2 > /tmp/$log

    fi

    t_s2=`tail -1 /tmp/$log|awk '{print $1}'`

    echo $t_s>>/tmp/$log

    v=$[$t_s-$t_s2]

        echo $v

    if [ $v -gt 3600 ]

    then    

        /dir/to/php ../mail/mail.php "$1 $2" "$3"

        echo "0" > /tmp/$log.txt

    else    

        if [ ! -f /tmp/$log.txt ]

        then

            echo "0" > /tmp/$log.txt

        fi

        nu=`cat /tmp/$log.txt`

        nu2=$[$nu+1]

        echo $nu2>/tmp/$log.txt

        if [ $nu2 -gt 10 ]

        then    

            /dir/to/php ../mail/mail.php "trouble continue 10 min $1  $2 " "$3"

             echo "0" > /tmp/$log.txt

        fi      

    fi      

crontab –e  放到這個下就可以了,

* * * * * cd /usr/local/sbin/mon/bin; /bin/bash main.sh

要加其它監控，放到shares目錄下就可以了

http://www.apelearn.com/bbs/thread-8106-1-1.html

本文轉自 15816815732 51CTO部落格，原文連結:http://blog.51cto.com/68686789/1790400