IO問題排查

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util

cciss/c0d0   0.00   4.08 177.55 140.82 1461.22 1159.18   730.61   579.59     8.23     2.33    7.29   3.20 101.94

cciss/c0d0   0.00   0.00 153.61  0.00 1245.36    0.00   622.68     0.00     8.11     1.29    8.46   6.68 102.58

cciss/c0d0   0.00   0.00 160.82  0.00 1303.09    0.00   651.55     0.00     8.10     1.25    7.72   6.41 103.09

cciss/c0d0   0.00   0.00 131.63  0.00 1069.39    0.00   534.69     0.00     8.12     1.13    8.61   7.68 101.12

cciss/c0d0   0.00   1.02 129.59  6.12 1044.90  138.78   522.45    69.39     8.72     1.15    8.34   7.51 101.94

cciss/c0d0   0.00   0.00 158.59  0.00 1292.93    0.00   646.46     0.00     8.15     1.23    7.79   6.34 100.61

cciss/c0d0   0.00   0.00 221.88  6.25 1866.67   50.00   933.33    25.00     8.40     1.64    7.23   4.57 104.17

log.txt

[root@vm1 ~]# awk '/cciss\/c0d0/{sum=sum+$NF;count=count+1}END{print sum/count}' log.txt   

86.1766

你的磁盤平均在86%，已經非常繁忙了

[root@test ~]# cat 5.sh

/etc/init.d/syslog stop

echo 1 > /proc/sys/vm/block_dump

sleep 60

dmesg | awk '/(READ|WRITE|dirtied)/ {process[$1]++} END {for (x in process) \

print process[x],x}' |sort -nr |awk '{print $2 " " $1}' | head -n 10

echo 0 > /proc/sys/vm/block_dump

/etc/init.d/syslog start

[root@test ~]# sh 5.sh 

Shutting down kernel logger: [FAILED]

Shutting down system logger: [FAILED]

kjournald(4204): 484

httpd(20713): 109

httpd(20668): 96

httpd(20674): 86

httpd(15782): 77

httpd(16293): 68

httpd(20708): 66

httpd(15858): 59

httpd(20612): 57

httpd(15832): 57

Starting system logger: [  OK  ]

Starting kernel logger: [  OK  ]

被抓出來了。httpd kjournald 程序的問題

本文轉自 liang3391 51CTO部落格，原文連結:

http://blog.51cto.com/liang3391/660596