Linux上的日志系統
通俗的講，系統日志便是系統在運作時候所産生的記錄。如遇到了什麼問題，記錄下來。由于産生的問題大小不同，是以便有了級别來規範如何記錄他們。由于日志全部集中到一起又會産生龐大難分類的問題是以有了日志子系統的分類來解決這一問題。另外存儲到什麼位子也需要指定。是以日志系統(syslog)的過程可以分為以下三類
1、資訊詳細程式：日志級别
2、子系統：facility, 設施
3、動作：存儲的位子，由誰記錄
另外，日志系統syslog也會有更新的版本，如syslog-ng ：下一代的更新日志系統，由于這麼多年，syslog隻更新了這麼一代，是以其改進是非常大的。功能的定義等改進也很大。使用的時候也需要注意這一點。這裡具體來說明syslog。
syslog：
為了友善觀看個子系統産生的日志資訊，專門創造了syslog來統一記錄各子系統産生的日志資訊。syslog是一個服務，其的任務專門記錄各子系統産生的日志，你可以把每一個程式都看做一個子系統。但是如一些服務（web）等，其專門定制了自身的存儲記錄格式而不使用syslog。是以，syslog的使用者多為系統上核心上facility的裝置來使用。是以可以了解如下：
syslog服務：
syslogd: 系統，非核心産生的資訊
klogd：核心，專門負責記錄核心産生的日志資訊
其中，syslogd與klogd記錄的資訊的詳細程度格式有着相當大的不同。
kernel --> 實體終端(/dev/console) --> /var/log/dmesg
當開機的時候，kernel加載，然後系統的虛拟終端服務尚未開啟（開啟是在init中才開始開啟）是以這個時候資訊都顯示在實體終端上，其對應的裝置是/dev/console，這些資訊中包括系統硬體的參數等等，其都儲存在/var/log/dmesg中，可以檢視此檔案來觀看：#dmesg或者# cat /var/log/dmesg因為内容顯示太多不上傳圖檔來檢視。
/sbin/init
/var/log/messages: 系統标準錯誤日志資訊；非核心産生引導資訊；各子系統産生的資訊；(會被多次進行滾動)
日志需要滾動(日志切割logrotate來執行)：
messages messages.1 messages.2 messages.3
當messages内容到大一定量時候，便會給其改名重新記錄其他的。如果messages.#檔案到達一定數字時候，系統又會自動删除一些。（更改.#的條件可以為時間，也可以為其容量大小到大某一程式，也可以是雙标準）
日志切割logrotate來執行，其配置檔案在/etc/logrotate.conf可以自行檢視，其腳本檔案/etc/cron.daily/logrotate中如圖1，可以觀看了解下：
<a href="http://blog.51cto.com/attachment/201303/122931348.jpg" target="_blank"></a>
/var/log/maillog: 郵件系統産生的日志資訊；
/var/log/secure: 跟安全相關的，600權限，一般不允許其他使用者檢視
syslog: syslogd和klogd
配置檔案定義格式為: facility.priority action
facility,可以了解為日志的來源或裝置目前常用的facility有以下幾種：
auth # 認證相關的
authpriv # 權限,授權相關的
cron # 任務計劃相關的
daemon # 守護程序相關的
kern # 核心相關的
lpr # 列印相關的
mail # 郵件相關的
mark # 标記相關的
news # 新聞相關的
security # 安全相關的,與auth 類似
syslog # syslog自己的
user # 使用者相關的
uucp # unix to unix cp 相關的
local0 到 local7 # 使用者自定義使用
* # *表示所有的facility
facility表示誰産生的日志，priority 哪個級别産生的日志，action産生的日志怎麼辦
priority(log level)日志的級别,一般有以下幾種級别(從低到高)
debug # 程式或系統的調試資訊
info # 一般資訊
notice # 不影響正常功能,需要注意的消息
warning/warn # 可能影響系統功能,需要提醒使用者的重要事件
err/error # 錯誤資訊
crit # 比較嚴重的
alert # 必須馬上處理的
emerg/panic # 會導緻系統不可用的
* # 表示所有的日志級别
none # 跟* 相反,表示啥也沒有
action(動作)日志記錄的位置
系統上的絕對路徑 # 普通檔案 如： /var/log/xxx
| # 管道 通過管道送給其他的指令處理
終端 # 終端 如：/dev/console
@HOST # 遠端主機 如： @10.0.0.1
使用者 # 系統使用者 如： root
* # 登入到系統上的所有使用者，一般emerg級别的日志是這樣定義的
定義格式例子：
mail.info /var/log/mail.log # 表示将mail相關的,級别為info及
# info以上級别的資訊記錄到/var/log/mail.log檔案中
auth.=info @10.0.0.1 # 表示将auth相關的,基本為info的資訊記錄到10.0.0.1主機上去
# 前提是10.0.0.1要能接收其他主機發來的日志資訊
user.!=error # 表示記錄user相關的,不包括error級别的資訊
user.!error # 與user.error相反
*.info # 表示記錄所有的日志資訊的info級别
mail.* # 表示記錄mail相關的所有級别的資訊
*.* # 你懂的.
cron.info;mail.info # 多個日志來源可以用";" 隔開
cron,mail.info # 與cron.info;mail.info 是一個意思
mail.*;mail.!=info # 表示記錄mail相關的所有級别的資訊,但是不包括info級别的
1.syslog-ng簡介
syslog-ng (syslog-Next generation) 是syslog的更新版,syslog-ng有兩個版本,一個是收費的,一個是開源的，那麼作為syslog的下一代産品,功能是可想而知,肯定比syslog的功能強大的多,如
高性能
可靠的傳輸
支援多平台
高可靠性
衆多的使用者群體
強大的日志過濾及排序
事件标簽和關聯性
支援最新的IETF标準
等....
2.syslog-ng的安裝
rhel5.x的系統上預設沒有使用syslog-ng來記錄日志的,需要使用的話,需要自己編譯安裝,安裝方法如下
#yum install gcc*
#cd /usr/src
#wget http://www.balabit.com/downloads/files/syslog-ng/sources/3.2.4/source/eventlog_0.2.12.tar.gz
#wget http://www.balabit.com/downloads/files/syslog-ng/open-source-edition/3.3.5/source/syslog-ng_3.3.5.tar.gz
#tar xvf eventlog_0.2.12.tar.gz
#cd eventlog-0.2.12
#./configure --prefix=/usr/local/eventlog
#make
#make install
#
#tar xvf syslog-ng_3.3.5.tar.gz
#cd syslog-ng-3.3.5
#export PKG_CONFIG_PATH=/usr/local/eventlog/lib/pkgconfig
#./configure --prefix=/usr/local/syslog-ng
#将syslog-ng添加為系統服務,
#vim /etc/init.d/syslog-ng #内容如下
##!/bin/bash
##
## chkconfig: - 60 27
## description: syslog-ng SysV script.
#. /etc/rc.d/init.d/functions
#syslog_ng=/usr/local/syslog-ng/sbin/syslog-ng
#prog=syslog-ng
#pidfile=/usr/local/syslog-ng/var/syslog-ng.pid
#lockfile=/usr/local/syslog-ng/var/syslog-ng.lock
#RETVAL=0
#STOP_TIMEOUT=${STOP_TIMEOUT-10}
# 35.start() {
# echo -n $"Starting $prog: "
# daemon --pidfile=$pidfile $syslog_ng $OPTIONS
# RETVAL=$?
# echo
# [ $RETVAL = 0 ] && touch ${lockfile}
# return $RETVAL
#}
#stop() {
# echo -n $"Stopping $prog: "
# killproc -p $pidfile -d $STOP_TIMEOUT $syslog_ng
# RETVAL=$?
# echo
# [ $RETVAL = 0 ] && rm -f $lockfile $pidfile
#case "$1" in
# start)
# start
# ;;
# stop)
# stop
# status)
# status -p $pidfile $syslog_ng
# restart)
# *)
# echo $"Usage: $prog {start|stop|restart|status}"
# RETVAL=2
#esac
#exit $RETVAL
#------------------------------------------------------------
#chmod a+x /etc/init.d/syslog-ng
#killall syslogd 75.chkconfig --add syslog-ng
#chkconfig syslog-ng on
#service syslog-ng start
3.syslog-ng配置檔案詳解
此時syslog-ng服務已經啟動起來了,配置檔案的位置在安裝目錄下的etc/syslog-ng.conf
syslog-ng.conf檔案裡的内容有以下幾個部分組成,
# 全局選項,多個選項時用分好";"隔開
options { .... };
# 定義日志源,
source s_name { ... };
# 定義過濾規則，規則可以使用正規表達式來定義,這裡是可選的,不定義也沒關系
filter f_name { ... };
# 定義目标
destination d_name { ... };
# 定義消息鍊可以将多個源,多個過濾規則及多個目标定義為一條鍊
log { ... };
詳解如下
----------------------------------------------------------------
options { long_hostnames(off); sync(0); perm(0640); stats(3600); };
更多選項如下
chain_hostnames(yes|no) # 是否打開主機名鍊功能，打開後可在多網絡段轉發日志時有效
long_hostnames(yes|no) # 是chain_hostnames的别名，已不建議使用
keep_hostname(yes|no) # 是否保留日志消息中儲存的主機名稱
use_dns(yes|no) # 是否打開DNS查詢功能，
use_fqdn(yes|no) # 是否使用完整的域名
check_hostname(yes|no) # 是否檢查主機名有沒有包含不合法的字元
bad_hostname(regexp) # 可通過正規表達式指定某主機的資訊不被接受
dns_cache(yes|no) # 是否打開DNS緩存功能
dns_cache_expire(n) # DNS緩存功能打開時，一個成功緩存的過期時間
dns_cache_expire_failed(n) # DNS緩存功能打開時，一個失敗緩存的過期時間
dns_cache_size(n) # DNS緩存保留的主機名數量
create_dirs(yes|no) # 當指定的目标目錄不存在時，是否建立該目錄
dir_owner(uid) # 目錄的UID
dir_group(gid) # 目錄的GID
dir_perm(perm) # 目錄的權限，使用八進制方式标注，例如0644
owner(uid) # 檔案的UID
group(gid) # 檔案的GID
perm(perm) # 檔案的權限，同樣，使用八進制方式标注
gc_busy_threshold(n) # 當syslog-ng忙時，其進入垃圾資訊收集狀态的時間一旦分派的對象達到這個數字，syslog-ng就啟動垃圾資訊收集狀态。預設值是：3000。
gc_idle_threshold(n) # 當syslog-ng空閑時，其進入垃圾資訊收集狀态的時間一旦被分派的對象到達這個數字，syslog-ng就會啟動垃圾資訊收集狀态，預設值是：100
log_fifo_size(n) # 輸出隊列的行數
log_msg_size(n) # 消息日志的最大值（bytes）
mark(n) # 多少時間（秒）寫入兩行MARK資訊供參考，目前沒有實作
stats(n) # 多少時間（秒）寫入兩行STATUS資訊,預設值是：600
sync(n) # 緩存多少行的資訊再寫入檔案中，0為不緩存，局部參數可以覆寫該值。
time_reap(n) # 在沒有消息前，到達多少秒，即關閉該檔案的連接配接
time_reopen(n) # 對于死連接配接，到達多少秒，會重新連接配接
use_time_recvd(yes|no) # 宏産生的時間是使用接受到的時間，還是日志中記錄的時間；建議使用R_的宏代替接收時間，S_的宏代替日志記錄的時間，而不要依靠該值定義。
source s_name { internal(); unix-dgram("/dev/log"); udp(ip("0.0.0.0") port(514)); };
file (filename) # 從指定的檔案讀取日志資訊
unix-dgram (filename) # 打開指定的SOCK_DGRAM模式的unix套接字，接收日志消息
unix-stream (filename) # 打開指定的SOCK_STREAM模式的unix套接字，接收日志消息
udp ( (ip),(port) ) # 在指定的UDP端口接收日志消息
tcp ( (ip),(port) ) # 在指定的TCP端口接收日志消息
sun-streams (filename) # 在solaris系統中，打開一個（多個）指定的STREAM裝置，從其中讀取日志消息
internal() # syslog-ng内部産生的消息
pipe(filename),fifo(filename) # 從指定的管道或者FIFO裝置，讀取日志資訊
filter f_name { not facility(news, mail) and not filter(f_iptables); };
更多規則函數如下
facility(..) # 根據facility（裝置）選擇日志消息，使用逗号分割多個facility
level(..) # 根據level（優先級）選擇日志消息，使用逗号分割多個level，或使用“..”表示一個範圍
program(表達式) # 日志消息的程式名是否比對一個正規表達式
host(表達式) # 日志消息的主機名是否和一個正規表達式比對
match(表達式) # 對日志消息的内容進行正則比對
filter() # 調用另一條過濾規則并判斷它的值
定義規則的時候也可以使用邏輯運算符and or not
destination d_name { file("/var/log/messages"); };
更多動作如下
file (filename) # 把日志消息寫入指定的檔案
unix-dgram (filename) # 把日志消息寫入指定的SOCK_DGRAM模式的unix套接字
unix-stream (filename) # 把日志消息寫入指定的SOCK_STREAM模式的unix套接字
udp (ip),(port) # 把日志消息發送到指定的UDP端口
tcp (ip),(port) # 把日志消息發送到指定的TCP端口
usertty(username) # 把日志消息發送到已經登陸的指定使用者終端視窗
pipe(filename),fifo(filename) # 把日志消息發送到指定的管道或者FIFO裝置
program(parm) # 啟動指定的程式，并把日志消息發送到該程序的标準輸入
log { source(s_name); filter(f_name); destination(d_name) };
一條日志的處理流程大概是這樣的,如下
首先是 "日志的來源 source s_name { ... };"
然後是 "過濾規則 filter f_name { ... };"
再然後是 "消息鍊 log { source(s_name); filter(f_name); destination(d_name) };"
最後是 "目标動作 destination d_name { ... };"
這樣以來一條日志就根據你的意思來處理了,需要注意的是一條日志消息過了之後,會比對定義的所有配置,并不是比對到以後就不再往下比對了.
4.syslog-ng配置檔案例子
$syslog-ng_path/etc/syslog-ng.conf 内容如下
source src {
internal();
unix-dgram("/dev/log");
# 表示日志來源為本機udp的514端口,
udp(ip("0.0.0.0") port(514));
};
filter f_iptables { facility(kern) and match("IN=") and match("OUT="); };
filter f_console { level(warn) and facility(kern) and not filter(f_iptables)
or level(err) and not facility(authpriv); };
filter f_newsnotice { level(notice) and facility(news); };
filter f_newscrit { level(crit) and facility(news); };
filter f_newserr { level(err) and facility(news); };
filter f_news { facility(news); };
filter f_mailinfo { level(info) and facility(mail); };
filter f_mailwarn { level(warn) and facility(mail); };
filter f_mailerr { level(err, crit) and facility(mail); };
filter f_mail { facility(mail); };
filter f_cron { facility(cron); };
filter f_local { facility(local0, local1, local2, local3,
local4, local6, local7); };
filter f_acpid_full { match('^acpid:'); };
filter f_acpid { level(emerg..notice) and match('^acpid:'); };
filter f_acpid_old { match('^\[acpid\]:'); };
filter f_netmgm { match('^NetworkManager:'); };
filter f_messages { not facility(news, mail) and not filter(f_iptables); };
filter f_warn { level(warn, err, crit) and not filter(f_iptables); };
filter f_alert { level(alert); };
destination console { pipe("/dev/tty10" owner(-1) group(-1) perm(-1)); };
log { source(src); filter(f_console); destination(console); };
destination xconsole { pipe("/dev/xconsole" owner(-1) group(-1) perm(-1)); };
log { source(src); filter(f_console); destination(xconsole); };
destination newscrit { file("/var/log/news/news.crit"
owner(news) group(news)); };
log { source(src); filter(f_newscrit); destination(newscrit); };
destination newserr { file("/var/log/news/news.err"
log { source(src); filter(f_newserr); destination(newserr); };
destination newsnotice { file("/var/log/news/news.notice"
log { source(src); filter(f_newsnotice); destination(newsnotice); };
destination mailinfo { file("/var/log/mail.info"); };
log { source(src); filter(f_mailinfo); destination(mailinfo); };
destination mailwarn { file("/var/log/mail.warn"); };
log { source(src); filter(f_mailwarn); destination(mailwarn); };
destination mailerr { file("/var/log/mail.err" fsync(yes)); };
log { source(src); filter(f_mailerr); destination(mailerr); };
destination mail { file("/var/log/mail"); };
log { source(src); filter(f_mail); destination(mail); };
destination acpid { file("/var/log/acpid"); };
destination null { };
log { source(src); filter(f_acpid); destination(acpid); flags(final); };
log { source(src); filter(f_acpid_full); destination(null); flags(final); };
log { source(src); filter(f_acpid_old); destination(acpid); flags(final); };
destination netmgm { file("/var/log/NetworkManager"); };
log { source(src); filter(f_netmgm); destination(netmgm); flags(final); };
destination localmessages { file("/var/log/localmessages"); };
log { source(src); filter(f_local); destination(localmessages); };
destination messages { file("/var/log/messages"); };
log { source(src); filter(f_messages); destination(messages); };
destination firewall { file("/var/log/firewall"); };
log { source(src); filter(f_iptables); destination(firewall); };
destination warn { file("/var/log/warn" fsync(yes)); };
log { source(src); filter(f_warn); destination(warn); };
filter f_ha { facility(local5); };
destination hamessages { file(/var/log/ha); };
log { source(src); filter(f_ha); destination(hamessages); };
本文轉自 陳延宗 51CTO部落格，原文連結：http://blog.51cto.com/407711169/1167835，如需轉載請自行聯系原作者
![DB2表壓縮功能[圖]](data:image/gif;base64,R0lGODlhAQABAIAAAP///wAAACwAAAAAAQABAAACAkQBADs=)