如何用十條指令在一分鐘内檢查 Linux 伺服器性能

如果你的linux伺服器突然負載暴增，報警短信快發爆你的手機，如何在最短時間内找出linux性能問題所在？來看netflix性能工程團隊的這篇博文，看它們通過十條指令在一分鐘内對機器性能問題進行診斷。

概述

通過執行以下指令，可以在1分鐘内對系統資源使用情況有個大緻的了解。

uptime

dmesg | tail

vmstat 1

mpstat -p all 1

pidstat 1

iostat -xz 1

free -m

sar -n dev 1

sar -n tcp,etcp 1

top

其中一些指令需要安裝sysstat包，有一些由procps包提供。這些指令的輸出，有助于快速定位性能瓶頸，檢查出所有資源（cpu、記憶體、磁盤io等）的使用率（utilization）、飽和度（saturation）和錯誤（error）度量，也就是所謂的use方法。

下面我們來逐一介紹下這些指令，有關這些指令更多的參數和說明，請參照指令的手冊。

這個指令可以快速檢視機器的負載情況。在linux系統中，這些資料表示等待cpu資源的程序和阻塞在不可中斷io程序（程序狀态為d）的數量。這些資料可以讓我們對系統資源使用有一個宏觀的了解。

指令的輸出分别表示1分鐘、5分鐘、15分鐘的平均負載情況。通過這三個資料，可以了解伺服器負載是在趨于緊張還是趨于緩解。如果1分鐘平均負載很高，而15分鐘平均負載很低，說明伺服器正在指令高負載情況，需要進一步排查cpu資源都消耗在了哪裡。反之，如果15分鐘平均負載很高，1分鐘平均負載較低，則有可能是cpu資源緊張時刻已經過去。

上面例子中的輸出，可以看見最近1分鐘的平均負載非常高，且遠高于最近15分鐘負載，是以我們需要繼續排查目前系統中有什麼程序消耗了大量的資源。可以通過下文将會介紹的vmstat、mpstat等指令進一步排查。

該指令會輸出系統日志的最後10行。示例中的輸出，可以看見一次核心的oom kill和一次tcp丢包。這些日志可以幫助排查性能問題。千萬不要忘了這一步。

vmstat(8) 指令，每行會輸出一些系統核心名額，這些名額可以讓我們更詳細的了解系統狀态。後面跟的參數1，表示每秒輸出一次統計資訊，表頭提示了每一列的含義，這幾介紹一些和性能調優相關的列：

r：等待在cpu資源的程序數。這個資料比平均負載更加能夠展現cpu負載情況，資料中不包含等待io的程序。如果這個數值大于機器cpu核數，那麼機器的cpu資源已經飽和。

free：系統可用記憶體數（以千位元組為機關），如果剩餘記憶體不足，也會導緻系統性能問題。下文介紹到的free指令，可以更詳細的了解系統記憶體的使用情況。

si，so：交換區寫入和讀取的數量。如果這個資料不為0，說明系統已經在使用交換區（swap），機器實體記憶體已經不足。

us, sy, id, wa, st：這些都代表了cpu時間的消耗，它們分别表示使用者時間（user）、系統（核心）時間（sys）、空閑時間（idle）、io等待時間（wait）和被偷走的時間（stolen，一般被其他虛拟機消耗）。

上述這些cpu時間，可以讓我們很快了解cpu是否出于繁忙狀态。一般情況下，如果使用者時間和系統時間相加非常大，cpu出于忙于執行指令。如果io等待時間很長，那麼系統的瓶頸可能在磁盤io。

示例指令的輸出可以看見，大量cpu時間消耗在使用者态，也就是使用者應用程式消耗了cpu時間。這不一定是性能問題，需要結合r隊列，一起分析。

該指令可以顯示每個cpu的占用情況，如果有一個cpu占用率特别高，那麼有可能是一個單線程應用程式引起的。

pidstat指令輸出程序的cpu占用率，該指令會持續輸出，并且不會覆寫之前的資料，可以友善觀察系統動态。如上的輸出，可以看見兩個java程序占用了将近1600%的cpu時間，既消耗了大約16個cpu核心的運算資源。

iostat指令主要用于檢視機器磁盤io情況。該指令輸出的列，主要含義是：

r/s, w/s, rkb/s, wkb/s：分别表示每秒讀寫次數和每秒讀寫資料量（千位元組）。讀寫量過大，可能會引起性能問題。

await：io操作的平均等待時間，機關是毫秒。這是應用程式在和磁盤互動時，需要消耗的時間，包括io等待和實際操作的耗時。如果這個數值過大，可能是硬體裝置遇到了瓶頸或者出現故障。

avgqu-sz：向裝置發出的請求平均數量。如果這個數值大于1，可能是硬體裝置已經飽和（部分前端硬體裝置支援并行寫入）。

%util：裝置使用率。這個數值表示裝置的繁忙程度，經驗值是如果超過60，可能會影響io性能（可以參照io操作平均等待時間）。如果到達100%，說明硬體裝置已經飽和。

如果顯示的是邏輯裝置的資料，那麼裝置使用率不代表後端實際的硬體裝置已經飽和。值得注意的是，即使io性能不理想，也不一定意味這應用程式性能會不好，可以利用諸如預讀取、寫緩存等政策提升應用性能。

free指令可以檢視系統記憶體的使用情況，-m參數表示按照兆位元組展示。最後兩列分别表示用于io緩存的記憶體數，和用于檔案系統頁緩存的記憶體數。需要注意的是，第二行-/+ buffers/cache，看上去緩存占用了大量記憶體空間。

這是linux系統的記憶體使用政策，盡可能的利用記憶體，如果應用程式需要記憶體，這部分記憶體會立即被回收并配置設定給應用程式。是以，這部分記憶體一般也被當成是可用記憶體。

如果可用記憶體非常少，系統可能會動用交換區（如果配置了的話），這樣會增加io開銷（可以在iostat指令中提現），降低系統性能。

sar指令在這裡可以檢視網絡裝置的吞吐率。在排查性能問題時，可以通過網絡裝置的吞吐量，判斷網絡裝置是否已經飽和。如示例輸出中，eth0網卡裝置，吞吐率大概在22 mbytes/s，既176 mbits/sec，沒有達到1gbit/sec的硬體上限。

sar指令在這裡用于檢視tcp連接配接狀态，其中包括：

active/s：每秒本地發起的tcp連接配接數，既通過connect調用建立的tcp連接配接；

passive/s：每秒遠端發起的tcp連接配接數，即通過accept調用建立的tcp連接配接；

retrans/s：每秒tcp重傳數量；

tcp連接配接數可以用來判斷性能問題是否由于建立了過多的連接配接，進一步可以判斷是主動發起的連接配接，還是被動接受的連接配接。tcp重傳可能是因為網絡環境惡劣，或者伺服器壓力過大導緻丢包。

top指令包含了前面好幾個指令的檢查的内容。比如系統負載情況（uptime）、系統記憶體使用情況（free）、系統cpu使用情況（vmstat）等。是以通過這個指令，可以相對全面的檢視系統負載的來源。同時，top指令支援排序，可以按照不同的列排序，友善查找出諸如記憶體占用最多的程序、cpu占用率最高的程序等。

但是，top指令相對于前面一些指令，輸出是一個瞬間值，如果不持續盯着，可能會錯過一些線索。這時可能需要暫停top指令重新整理，來記錄和比對資料。

總結

排查linux伺服器性能問題還有很多工具，上面介紹的一些指令，可以幫助我們快速的定位問題。例如前面的示例輸出，多個證據證明有java程序占用了大量cpu資源，之後的性能調優就可以針對應用程式進行。