天天看點

寫出健壯的 Bash 腳本使用set -u使用set -e程式防禦 - 考慮意料之外的事準備好處理檔案名中的空格設定的陷阱竟态條件 (wikipedia)保持原子化

許多人用shell腳本完成一些簡單任務,而且變成了他們生命的一部分。不幸的是,shell腳本在運作異常時會受到非常大的影響。在寫腳本時将這類問題最小化是十分必要的。本文中我将介紹一些讓bash腳本變得健壯的技術。

你因為沒有對變量初始化而使腳本崩潰過多少次?對于我來說,很多次。

如果上面的代碼你沒有給參數就運作,你不會僅僅删除掉chroot中的文檔,而是将系統的所有文檔都删除。那你應該做些什麼呢?好在bash提供了set -u,當你使用未初始化的變量時,讓bash自動退出。你也可以使用可讀性更強一點的set -o nounset。

david% bash /tmp/shrink-chroot.sh

$chroot=

david% bash -u /tmp/shrink-chroot.sh

/tmp/shrink-chroot.sh: line 3: $1: unbound variable

david%

你寫的每一個腳本的開始都應該包含set -e。這告訴bash一但有任何一個語句傳回非真的值,則退出bash。使用-e的好處是避免錯誤滾雪球般的變成嚴重錯誤,能盡早的捕獲錯誤。更加可讀的版本:set -o errexit

使用-e把你從檢查錯誤中解放出來。如果你忘記了檢查,bash會替你做這件事。不過你也沒有辦法使用$?來擷取指令執行狀态了,因為bash無法獲得任何非0的傳回值。你可以使用另一種結構:

command

if [ "$?"-ne 0]; then echo "command failed"; exit 1; fi

可以替換成:

command || { echo "command failed"; exit 1; }

或者使用:

if ! command; then echo "command failed"; exit 1; fi

如果你必須使用傳回非0值的指令,或者你對傳回值并不感興趣呢?你可以使用 command || true ,或者你有一段很長的代碼,你可以暫時關閉錯誤檢查功能,不過我建議你謹慎使用。

set +e

command1

command2

set -e

相關文檔指出,bash預設傳回管道中最後一個指令的值,也許是你不想要的那個。比如執行 false | true 将會被認為指令成功執行。如果你想讓這樣的指令被認為是執行失敗,可以使用 set -o pipefail

你的腳本也許會被放到“意外”的賬戶下運作,像缺少檔案或者目錄沒有被建立等情況。你可以做一些預防這些錯誤事情。比如,當你建立一個目錄後,如果父目錄不存在,mkdir 指令會傳回一個錯誤。如果你建立目錄時給mkdir指令加上-p選項,它會在建立需要的目錄前,把需要的父目錄建立出來。另一個例子是 rm 指令。如果你要删除一個不存在的檔案,它會“吐槽”并且你的腳本會停止工作。(因為你使用了-e選項,對吧?)你可以使用-f選項來解決這個問題,在檔案不存在的時候讓腳本繼續工作。

有些人從在檔案名或者指令行參數中使用空格,你需要在編寫腳本時時刻記得這件事。你需要時刻記得用引号包圍變量。

if [ $filename = "foo" ];

當$filename變量包含空格時就會挂掉。可以這樣解決:

if [ "$filename" = "foo" ];

使用$@變量時,你也需要使用引号,因為空格隔開的兩個參數會被解釋成兩個獨立的部分。

david% foo() { for i in $@; do echo $i; done }; foo bar "baz quux"

bar

baz

quux

david% foo() { for i in "$@"; do echo $i; done }; foo bar "baz quux"

baz quux

我沒有想到任何不能使用"$@"的時候,是以當你有疑問的時候,使用引号就沒有錯誤。

如果你同時使用find和xargs,你應該使用 -print0 來讓字元分割檔案名,而不是換行符分割。

david% touch "foo bar"

david% find | xargs ls

ls: ./foo: No such file or directory

ls: bar: No such file or directory

david% find -print0 | xargs -0 ls

./foo bar

當你編寫的腳本挂掉後,檔案系統處于未知狀态。比如鎖檔案狀态、臨時檔案狀态或者更新了一個檔案後在更新下一個檔案前挂掉。如果你能解決這些問題,無論是 删除鎖檔案,又或者在腳本遇到問題時復原到已知狀态,你都是非常棒的。幸運的是,bash提供了一種方法,當bash接收到一個UNIX信号時,運作一個 指令或者一個函數。可以使用trap指令。

trap command signal [signal ...]

你可以連結多個信号(清單可以使用kill -l獲得),但是為了清理殘局,我們隻使用其中的三個:INT,TERM和EXIT。你可以使用-as來讓traps恢複到初始狀态。

INT

Interrupt - 當有人使用Ctrl-C終止腳本時被觸發

TERM

Terminate - 當有人使用kill殺死腳本程序時被觸發

EXIT

Exit - 這是一個僞信号,當腳本正常退出或者set -e後因為出錯而退出時被觸發

當你使用鎖檔案時,可以這樣寫:

if [ ! -e $lockfile ]; then

touch $lockfile

critical-section

rm $lockfile

else

echo "critical-section is already running"

fi

當最重要的部分(critical-section)正在運作時,如果殺死了腳本程序,會發生什麼呢?鎖檔案會被扔在那,而且你的腳本在它被删除以前再也不會運作了。解決方法:

trap " rm -f $lockfile; exit" INT TERM EXIT

trap - INT TERM EXIT

現在當你殺死程序時,鎖檔案一同被删除。注意在trap指令中明确地退出了腳本,否則腳本會繼續執行trap後面的指令。

if ( set -o noclobber; echo "$$" > "$lockfile") 2> /dev/null;

then

trap 'rm -f "$lockfile"; exit $?' INT TERM EXIT

rm -f "$lockfile"

echo "Failed to acquire lockfile: $lockfile"

echo "held by $(cat $lockfile)"

更複雜一點兒的問題是你要更新一大堆檔案,當它們更新過程中出現問題時,你是否能讓腳本挂得更加優雅一些。你想确認那些正确更新了,哪些根本沒有變化。比如你需要一個添加使用者的腳本。

add_to_passwd $user

cp -a /etc/skel /home/$user

chown $user /home/$user -R

當磁盤空間不足或者程序中途被殺死,這個腳本就會出現問題。在這種情況下,你也許希望使用者賬戶不存在,而且他的檔案也應該被删除。

rollback() {

del_from_passwd $user

if [ -e /home/$user ]; then

rm -rf /home/$user

exit

}

trap rollback INT TERM EXIT

在腳本最後需要使用trap關閉rollback調用,否則當腳本正常退出的時候rollback将會被調用,那麼腳本等于什麼都沒做。

又是你需要一次更新目錄中的一大堆檔案,比如你需要将URL重寫到另一個網站的域名。你也許會寫:

for file in $(find /var/www -type f -name "*.html"); do

perl -pi -e 's/www.example.net/www.example.com/' $file

done

如果修改到一半是腳本出現問題,一部分使用www.example.com,而另一部分使用www.example.net。你可以使用備份和trap解決,但在更新過程中你的網站URL是不一緻的。

解決方法是将這個改變做成一個原子操作。先對資料做一個副本,在副本中更新URL,再用副本替換掉現在工作的版本。你需要确認副本和工作版本目錄在同一個磁盤分區上,這樣你就可以利用Linux系統的優勢,它移動目錄僅僅是更新目錄指向的inode節點。

cp -a /var/www /var/www-tmp

for file in $(find /var/www-tmp -type -f -name "*.html"); do

mv /var/www /var/www-old

mv /var/www-tmp /var/www

這意味着如果更新過程出問題,線上系統不會受影響。線上系統受影響的時間降低為兩次mv操作的時間,這個時間非常短,因為檔案系統僅更新inode而不用真正的複制所有的資料。

這種技術的缺點是你需要兩倍的磁盤空間,而且那些長時間打開檔案的程序需要比較長的時間才能更新到新檔案版本,建議更新完成後重新啟動這些程序。對于 apache伺服器來說這不是問題,因為它每次都重新打開檔案。你可以使用lsof指令檢視目前正打開的檔案。優勢是你有了一個先前的備份,當你需要還原 時,它就派上用場了。

本文轉自 位鵬飛 51CTO部落格,原文連結:http://blog.51cto.com/weipengfei/1241271,如需轉載請自行聯系原作者