天天看點

rsync+inotify實作伺服器之間檔案實時同步

之前做了“ssh信任與scp自動傳輸腳本”的技術文檔,此方案是作為公司裡備份的方法,但在實際的運作中,由于主伺服器在給備份伺服器傳輸的時候,我們的主伺服器需要備份的檔案是實時、不停的産生的,造成不知道主伺服器給備份伺服器傳輸了多少檔案,磁盤空間就那麼大,做備份的原因:一個是為了保持檔案,另外一個是解決主伺服器的磁盤飽滿問題,但由于不知道備份伺服器到底接收了多少檔案,是以主伺服器裡的檔案不敢删除(如果沒有備份的情況下删除,問題就嚴重了,我這個是政府的項目,伺服器裡的檔案都是重要的,删錯了就走人~~~~(>_<)~~~~ ),是以我就采用了rsync+inotify的方式來實時同時伺服器之間的檔案,而且傳輸的過程是加密的,比scp安全多了(即使scp采用ssh信任,用密鑰,也不是萬無一失的)。

以下是我給公司運維做的備份技術文檔,分享給大家,希望對大家有幫助。

先介紹一下rsync與inotify,都在在網上找的資料。先聲明下面的rsync與inotify介紹不是我自己寫的。

1、rsync

 與傳統的cp、tar備份方式相比,rsync具有安全性高、備份迅速、支援增量備份等優點,通過rsync可以解決對實時性要求不高的資料備份需求,例如定期的備份檔案伺服器資料到遠端伺服器,對本地磁盤定期做資料鏡像等。

随着應用系統規模的不斷擴大,對資料的安全性和可靠性也提出的更好的要求,rsync在高端業務系統中也逐漸暴露出了很多不足,首先,rsync同步資料時,需要掃描所有檔案後進行比對,進行差量傳輸。如果檔案數量達到了百萬甚至千萬量級,掃描所有檔案将是非常耗時的。而且正在發生變化的往往是其中很少的一部分,這是非常低效的方式。其次,rsync不能實時的去監測、同步資料,雖然它可以通過linux守護程序的方式進行觸發同步,但是兩次觸發動作一定會有時間差,這樣就導緻了服務端和用戶端資料可能出現不一緻,無法在應用故障時完全的恢複資料。基于以上原因,rsync+inotify組合出現了!

2、inotify

 Inotify 是一種強大的、細粒度的、異步的檔案系統事件監控機制,linux核心從2.6.13起,加入了Inotify支援,通過Inotify可以監控檔案系統中添加、删除,修改、移動等各種細微事件,利用這個核心接口,第三方軟體就可以監控檔案系統下檔案的各種變化情況,而inotify-tools就是這樣的一個第三方軟體。

在上面章節中,我們講到,rsync可以實作觸發式的檔案同步,但是通過crontab守護程序方式進行觸發,同步的資料和實際資料會有差異,而inotify可以監控檔案系統的各種變化,當檔案有任何變動時,就觸發rsync同步,這樣剛好解決了同步資料的實時性問題。

接下面我們來開始進行rsync與inotify的安裝、配置、測試。

下面是2個伺服器的結構,分别為主機名、ip、狀态、核心、位數、同步的目錄,并将2台伺服器均是redhat5.4發行版本。

<a target="_blank" href="http://blog.51cto.com/attachment/201202/014805369.jpg"></a>

一、主伺服器(server端,我這裡是nginx)

其中主伺服器需要安裝rsync與inotify,主伺服器作為server,向備份伺服器client傳輸檔案

1、安裝rsync

[root@nginx ~]# cd /usr/src/  

[root@nginx src]# ll  

total 16  

drwxr-xr-x 2 root root 4096 Jan 26  2010 debug  

drwxr-xr-x 2 root root 4096 Jan 26  2010 kernels  

[root@nginx src]# wget  http://rsync.samba.org/ftp/rsync/src/rsync-3.0.9.tar.gz  

[root@nginx src]# tar zxvf rsync-3.0.9.tar.gz  

[root@nginx src]# cd rsync-3.0.9  

[root@nginx rsync-3.0.9]# ./configure --prefix=/usr/local/rsync  

[root@nginx rsync-3.0.9]# make  

[root@nginx rsync-3.0.9]# make install  

2、建立密碼認證檔案

[root@nginx rsync-3.0.9]# cd /usr/local/rsync/  

[root@nginx rsync]# echo "rsync-pwd" &gt;/usr/local/rsync/rsync.passwd   

其中rsync-pwd可以自己設定密碼,rsync.passwd名字也可以自己設定

[root@nginx rsync]# chmod 600 rsync.passwd 

無論是為了安全,還是為了避免出現以下錯誤,密碼檔案都需要給600權限

password file must not be other-accessible  

continuing without password file  

3、安裝inotify

[root@nginx rsync]# cd /usr/src/  

[root@nginx src]# wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz  

[root@nginx src]# tar zxvf inotify-tools-3.14.tar.gz  

[root@nginx src]# cd inotify-tools-3.14  

[root@nginx inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify  

[root@nginx inotify-tools-3.14]# make  

[root@nginx inotify-tools-3.14]# make install  

4、建立rsync複制腳本

此項功能主要是将server端的目錄/tmp裡的内容,如果修改了(無論是添加、修改、删除檔案)能夠通過inotify監控到,并通過rsync實時的同步給client的/tmp裡,下面是通過shell腳本實作的。

#!/bin/bash  

host=192.168.10.221  

src=/tmp/         

des=web 

user=webuser 

/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src \  

| while read files  

do  

/usr/bin/rsync -vzrtopg --delete --progress --password-file=/usr/local/rsync/rsync.passwd $src $user@$host::$des  

echo "${files} was rsynced" &gt;&gt;/tmp/rsync.log 2&gt;&amp;1  

done  

注意:經過1樓的提示,我發現如果把rsync.log的放到tmp(備份的目錄)或發送一直複制的問題,是以建議各位吧rsync的日志放到其他的目錄下(非備份目錄)。

其中host是client的ip,src是server端要實時監控的目錄,des是認證的子產品名,需要與client一緻,user是建立密碼檔案裡的認證使用者。

把這個腳本命名為rsync.sh,放到監控的目錄裡,比如我的就放到/tmp下面,并給予764權限

[root@nginx tmp]# chmod 764 rsync.sh 

然後運作這個腳本

[root@nginx tmp]# sh /tmp/rsync.sh &amp; 

請記住,隻有在備份伺服器client端的rsync安裝并啟動rsync之後,在啟動rsync.sh腳本,否則有時候會滿屏出現:

rsync: failed to connect to 192.168.10.221: Connection refused (111)  

rsync error: error in socket IO (code 10) at clientserver.c(107) [sender=2.6.8]  

我們還可以把rsync.sh腳本加入到開機啟動項裡

[root@nginx tmp]# echo "/tmp/rsync.sh" &gt;&gt; /etc/rc.local 

二、備份伺服器(client,我這裡為nginx-backup)

1、安裝rsync(備份伺服器隻安裝rsync)

[root@nginx-backup ~]# cd /usr/src/  

[root@nginx-backup src]# ll  

[root@nginx-backup src]# wget  http://rsync.samba.org/ftp/rsync/src/rsync-3.0.9.tar.gz  

[root@nginx-backup src]# tar zxvf rsync-3.0.9.tar.gz  

[root@nginx-backup src]# cd rsync-3.0.9  

[root@nginx-backup rsync-3.0.9]# ./configure --prefix=/usr/local/rsync  

[root@nginx-backup rsync-3.0.9]# make  

[root@nginx-backup rsync-3.0.9]# make install  

2、建立使用者與密碼認證檔案

[root@nginx-backup rsync-3.0.9]# echo "webuser:rsync-pwd" &gt; /usr/local/rsync/rsync.passwd 

請記住,在server端建立的密碼檔案,隻有密碼,沒有使用者名;而在備份服務端client裡建立的密碼檔案,使用者名與密碼都有。

[root@nginx-backup rsync]# chmod 600 rsync.passwd 

需要給密碼檔案600權限

3、建立rsync配置檔案

uid = root 

gid = root 

use chroot = no 

max connections = 10 

strict modes = yes 

pid file = /var/run/rsyncd.pid  

lock file = /var/run/rsync.lock  

log file = /var/log/rsyncd.log  

[web]  

path = /tmp/  

comment = web file  

ignore errors  

read only = no 

write only = no 

hosts allow = 192.168.10.220  

hosts deny = *  

list = false 

auth users = webuser 

secrets file = /usr/local/rsync/rsync.passwd  

其中web是server服務端裡的認證子產品名稱,需要與主伺服器裡的一緻,以上的配置我的自己伺服器裡的配置,以供參考。

把配置檔案命名為rsync.conf,放到/usr/local/rsync/目錄裡

啟動rsync

[root@nginx-backup rsync]# /usr/local/rsync/bin/rsync --daemon --config=/usr/local/rsync/rsync.conf 

如果出現以下問題:

/usr/local/rsync/bin/rsync: error while loading shared libraries: libiconv.so.2: cannot open shared object file: No such file or directory, 

可以采用下面方法解決

[root@nginx-backup rsync]# whereis libiconv.so.2  

libiconv.so: /usr/local/lib/libiconv.so.2 /usr/local/lib/libiconv.so  

找到所需子產品所在的目錄,然後把此目錄添加到/etc/ld.so.conf裡,并更新庫檔案

[root@nginx-backup rsync]# echo "/usr/local/lib/" &gt;&gt; /etc/ld.so.conf  

 [root@nginx-backup rsync]# ldconfig  

我們可以把rsync腳本加入到開機啟動項裡

[root@nginx-backup rsync]# echo "/usr/local/rsync/bin/rsync --daemon --config=/usr/local/rsync/rsync.conf" &gt;&gt; /etc/rc.local 

現在rsync與inotify在server端安裝完成,rsync在備份伺服器client端也安裝完成

下面是server端的tmp檔案情況

<a target="_blank" href="http://blog.51cto.com/attachment/201202/011602302.jpg"></a>

下面是client端tmp的檔案情況

<a target="_blank" href="http://blog.51cto.com/attachment/201202/011629416.jpg"></a>

接下來我們來做一下測試,在server裡建立個test-rsync檔案,看看client是否能收到

<a target="_blank" href="http://blog.51cto.com/attachment/201202/011701218.jpg"></a>

在看client端是否有test-rsync檔案,同時client端的tmp目錄檔案是否與server端的檔案完全一緻

<a target="_blank" href="http://blog.51cto.com/attachment/201202/011724937.jpg"></a>

可以看到在client端,已經收到了test-rsync檔案,而且client的tmp裡的檔案與server裡tmp的檔案完全相同、檔案數目一緻。

現在rsync與inotify的搭建與配置完成了,并實作了伺服器直接資料的實時同步;大家可以根據自己的需要來進行相應的配置。

BTW:在rsync+inotify這種備份方法的時候,我公司遇到了一個問題,那就是主服務已經給備用服務同步完資料了,但主伺服器磁盤看見滿了,需要把已經備份的檔案删除,但同時在備份伺服器裡保留主伺服器裡的檔案,也就是說主伺服器裡删除檔案的時候,備份伺服器裡不跟着删除檔案,我檢視了很多英文文檔,測試了很多遍,最後找到了一個解決方法,那就是在主伺服器裡,把rsync.sh這個腳本裡第9行的--delete參數給去掉,就可以解決這個問題。

 本文轉自 dl528888 51CTO部落格,原文連結:http://blog.51cto.com/dl528888/771533,如需轉載請自行聯系原作者

繼續閱讀