linux inotify+rsync

一、系統環境：

centos 6.5_64

更新源伺服器：192.168.10.11

目的伺服器：192.168.10.10

二、目的伺服器配置:192.168.10.10 （rsync服務端）：

1、檢查rsync是否安裝

rpm -qa|grep rsync

如果沒有發裝，執以下指令進行安裝

yum -y install rsync

2、定義rsync配置檔案/etc/rsyncd.conf

192.168.10.11:

cat >> /etc/rsyncd.conf << EOF

uid = rsync

gid = rsync

use chroot = no

max connections = 100

timeout = 600

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsyncd.lock

log file = /var/log/rsyncd.log

[hequan]

path = /hequan/

ignore errors

read only = no

list = no

hosts allow = 192.168.10.0/255.255.255.0

auth users = hequan

secrets file = /etc/hequan.pwd

EOF

3、rsyncd.conf配置檔案詳解

uid = rsync //運作RSYNC守護程序的使用者

gid = rsync //運作RSYNC守護程序的組

use chroot = 0 //不使用chroot

max connections = 0 // 最大連接配接數,0為不限制

port = 873 //預設端口873

下面這些檔案是安裝完RSYNC服務後自動生成的檔案

pid file = /var/run/rsyncd.pid //pid檔案的存放位置

lock file = /var/run/rsync.lock //鎖檔案的存放位置.指定支援max connections參數的鎖檔案,預設值是/var/run/rsyncd.lock.

log file = /var/log/rsyncd.log //日志記錄檔案的存放位置

Timeout = 300

通過該選項可以覆寫客戶指定的IP逾時時間.通過該選項可以確定rsync伺服器不會永遠等待一個崩潰的用戶端.逾時機關為秒鐘,0表示沒有逾時定義,這也是預設值.對于匿名rsync伺服器來說,一個理想的數字是600.

Log format = %t %a %m %f %b

通過該選項使用者在使用transfer logging可以自己定制日志檔案的字段.其格式是一個包含格式定義符的字元串,可以使用的格式定義符如下所示：

%h 遠端主機名

%a 遠端IP位址

%l 檔案長度字元數

%p 該次rsync會話的程序id

%o 操作類型：" send" 或" recv"

%f 檔案名

%P 子產品路徑

%m 子產品名

%t 目前時間

%u 認證的使用者名(匿名時是null)

%b 實際傳輸的位元組數

%c 當發送檔案時,該字段記錄該檔案的校驗碼

預設log格式為：" %o %h [%a] %m (%u) %f %l" ,一般來說,在每行的頭上會添加" %t [%p] " .在源代碼中同時釋出有一個叫rsyncstats的perl腳本程式來統計這種格式的日志檔案.

#transfer logging = yes

使rsync伺服器使用ftp格式的檔案來記錄下載下傳和上載操作在自己單獨的日志中.

syslog facility = local3

指定rsync發送日志消息給syslog時的消息級别,常見的消息級别是：uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6和local7.預設值是daemon.

子產品參數

[hequan] //這裡是認證的子產品名,在client端需要指定

path = /data/ //需要做鏡像的目錄,不可缺少！

comment = backup web //這個子產品的注釋資訊

ignore errors //可以忽略一些無關的IO錯誤

read only = yes //該選項設定是否允許客戶上載檔案.如果為true那麼任何上載請求都會失敗,如果為false并且伺服器目錄讀寫權限允許那麼上載是允許的.預設值為true.

list = no //不允許列檔案

auth users = bak //認證的使用者名,如果沒有這行則表明是匿名,此使用者與系統無關

該選項指定由空格或逗号分隔的使用者名清單,隻有這些使用者才允許連接配接該子產品.這裡的使用者和系統使用者沒有任何關系.如果" auth users" 被設定,那麼用戶端發出對該子產品的連接配接請求以後會被rsync請求challenged進行驗證身份這裡使用的challenge/response認證協定.使用者的名和密碼以明文方式存放在" secrets file" 選項指定的檔案中.預設情況下無需密碼就可以連接配接子產品(也就是匿名方式).

secrets file = /etc/rsync.pwd //密碼和使用者名對比表,密碼檔案自己生成

該選項指定一個包含定義使用者名:密碼對的檔案.隻有在" auth users" 被定義時,該檔案才有作用.檔案每行包含一個username:passwd對.一般來說密碼最好不要超過8個字元.沒有預設的secures file名,需要限式指定一個(例如：/etc/www1.pwd).注意：該檔案的權限一定要是600,否則用戶端将不能連接配接伺服器.

hosts allow = 192.168.10.0/255.255.255.0 //允許主機或網段

該選項指定哪些IP的客戶允許連接配接該子產品.客戶模式定義可以是以下形式：

單個IP位址,例如：192.168.10.11

整個網段,例如：192.168.10.0/24,也可以是192.168.10.0/255.255.255.0

多個IP或網段需要用空格隔開,“*”則表示所有,預設是允許所有主機連接配接.

hosts deny = 0.0.0.0/0 //禁止主機

4、建立認證檔案/etc/hequan.pwd ,此檔案須與配置檔案中指定檔案名保持一緻

此處格式為：username:password,安全問題,并不建議實際使用中使用root使用者

echo "hequan:123456" >> /etc/hequan.pwd

并且我們需要設定此檔案的權限為600

chmod 600 /etc/hequan.pwd

chmod 600 /etc/rsyncd.conf

建立使用者，授權寫入使用者名密碼

# useradd rsync -s /sbin/nologin

# chown -R rsync.rsync /hequan/

5、建立motd檔案（可有可無）

rsyncd.motd記錄了rsync服務的歡迎資訊,你可以在其中輸入任何文本資訊,如：

echo "Welcome to use the rsync services!" >> /var/rsyncd.motd

6、啟動rsync

/usr/bin/rsync --daemon

echo "/usr/bin/rsync --daemon" >> /etc/rc.local

三、更新源伺服器配置:192.168.10.11（rsync用戶端）

1、inotify 可以監視的檔案系統事件包括：

IN_ACCESS，即檔案被通路

IN_MODIFY，檔案被 write

IN_ATTRIB，檔案屬性被修改，如 chmod、chown、touch 等

IN_CLOSE_WRITE，可寫檔案被 close

IN_CLOSE_NOWRITE，不可寫檔案被 close

IN_OPEN，檔案被 open

IN_MOVED_FROM，檔案被移走,如 mv

IN_MOVED_TO，檔案被移來，如 mv、cp

IN_CREATE，建立新檔案

IN_DELETE，檔案被删除，如 rm

IN_DELETE_SELF，自删除，即一個可執行檔案在執行時删除自己

IN_MOVE_SELF，自移動，即一個可執行檔案在執行時移動自己

IN_UNMOUNT，宿主檔案系統被 umount

IN_CLOSE，檔案被關閉，等同于(IN_CLOSE_WRITE | IN_CLOSE_NOWRITE)

IN_MOVE，檔案被移動，等同于(IN_MOVED_FROM | IN_MOVED_TO)

注：上面所說的檔案也包括目錄。

2、安裝inotify-tools

在安裝inotify-tools前請先确認你的linux核心是否打到了2.6.13，并且在編譯時開啟了CONFIG_INOTIFY選項，也可以通過以下指令檢測

ls /proc/sys/fs/inotify

如果有 max_queued_events，max_user_instances，max_user_watches 三項就說明支援

tar xvf inotify-tools-3.14.tar.gz

cd inotify-tools-3.14

./configure --prefix=/usr/local/inotify-tools-3.14

make && make install

ln -s /usr/local/inotify-tools-3.14 /usr/local/inotify

3、編寫rsync監控腳本

vi /root/rsync.sh

<code>des1=hequan</code>

<code>user1=hequan</code>

<code>/usr/local/inotify/bin/inotifywait</code> <code>-mrq --timefmt </code><code>'%d/%m/%y %H:%M'</code> <code>--</code><code>format</code> <code>'%T %w%f'</code> <code>-e modify,delete,create,attrib ${s rc} | </code><code>while</code> <code>read</code> <code>line</code>

<code> </code><code>rsync</code> <code>-vzrtopg --delete --progress ${src} ${user1}@${host1}::${des1} --password-</code><code>file</code><code>=</code><code>/etc/hequan</code><code>.</code><code>pwd</code>

-m，即--monitor，表示始終保持事件監聽狀态。

-r，即--recursive，表示遞歸查詢目錄。

-q，即--quiet，表示列印出監控事件。

-e，即--event，通過此參數可以指定要監控的事件，常見的事件有modify、delete、create、attrib等

--timefmt：指定時間的輸出格式

--format：指定變化檔案的詳細資訊

建立認證檔案 (rsync用戶端認證檔案隻用加入密碼)

echo "123456" >> /etc/hequan.pwd

/bin/sh -n /root/rsync.sh //文法檢查

chmod +x /root/rsync.sh

nohup sh /root/rsync.sh &

echo "nohup sh /root/rsync.sh &" >> /etc/rc.local

四、同步測試

在更新源伺服器上建立一個檔案，運作以下的指令，看檔案是否可以正常同步，看有無報錯資訊

rsync -vzrtopg --delete --progress /data/ [email protected]::hequan --password-file=/etc/hequan.pwd

将要更新的檔案送出到更新源伺服器中，這樣就通過inotify+rsync批量的将更新檔案同步到所有的目的伺服器中，相當友善快捷

inotify參數

-m 是保持一直監聽

-r 是遞歸檢視目錄

-q 是列印出事件

-e create,move,delete,modify,attrib 是指 “監聽建立移動删除寫入權限” 事件

rsync參數

============================================

-v, --verbose 詳細模式輸出

-q, --quiet 精簡輸出模式

-c, --checksum 打開校驗開關，強制對檔案傳輸進行校驗

-a, --archive 歸檔模式，表示以遞歸方式傳輸檔案，并保持所有檔案屬性，等于-rlptgoD

-r, --recursive 對子目錄以遞歸模式處理

-R, --relative 使用相對路徑資訊

-b, --backup 建立備份，也就是對于目的已經存在有同樣的檔案名時，将老的檔案重新命名為~filename。可以使用--suffix選項來指定不同的備份檔案字首。

--backup-dir 将備份檔案(如~filename)存放在在目錄下。

-suffix=SUFFIX 定義備份檔案字首

-u, --update 僅僅進行更新，也就是跳過所有已經存在于DST，并且檔案時間晚于要備份的檔案。(不覆寫更新的檔案)

-l, --links 保留軟鍊結

-L, --copy-links 想對待正常檔案一樣處理軟鍊結

--copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹以外的鍊結

--safe-links 忽略指向SRC路徑目錄樹以外的鍊結

-H, --hard-links 保留硬鍊結

-p, --perms 保持檔案權限

-o, --owner 保持檔案屬主資訊

-g, --group 保持檔案屬組資訊

-D, --devices 保持裝置檔案資訊

-t, --times 保持檔案時間資訊

-S, --sparse 對稀疏檔案進行特殊處理以節省DST的空間

-n, --dry-run現實哪些檔案将被傳輸

-W, --whole-file 拷貝檔案，不進行增量檢測

-x, --one-file-system 不要跨越檔案系統邊界

-B, --block-size=SIZE 檢驗算法使用的塊尺寸，預設是700位元組

-e, --rsh=COMMAND 指定使用rsh、ssh方式進行資料同步

--rsync-path=PATH 指定遠端伺服器上的rsync指令所在路徑資訊

-C, --cvs-exclude 使用和CVS一樣的方法自動忽略檔案，用來排除那些不希望傳輸的檔案

--existing 僅僅更新那些已經存在于DST的檔案，而不備份那些新建立的檔案

--delete 删除那些DST中SRC沒有的檔案

--delete-excluded 同樣删除接收端那些被該選項指定排除的檔案

--delete-after 傳輸結束以後再删除

--ignore-errors 及時出現IO錯誤也進行删除

--max-delete=NUM 最多删除NUM個檔案

--partial 保留那些因故沒有完全傳輸的檔案，以是加快随後的再次傳輸

--force 強制删除目錄，即使不為空

--numeric-ids 不将數字的使用者群組ID比對為使用者名群組名

--timeout=TIME IP逾時時間，機關為秒

-I, --ignore-times 不跳過那些有同樣的時間和長度的檔案

--size-only 當決定是否要備份檔案時，僅僅察看檔案大小而不考慮檔案時間

--modify-window=NUM 決定檔案是否時間相同時使用的時間戳視窗，預設為0

-T --temp-dir=DIR 在DIR中建立臨時檔案

--compare-dest=DIR 同樣比較DIR中的檔案來決定是否需要備份

-P 等同于 --partial

--progress 顯示備份過程

-z, --compress 對備份的檔案在傳輸時進行壓縮處理

--exclude=PATTERN 指定排除不需要傳輸的檔案模式

--include=PATTERN 指定不排除而需要傳輸的檔案模式

--exclude-from=FILE 排除FILE中指定模式的檔案

--include-from=FILE 不排除FILE指定模式比對的檔案

--version 列印版本資訊

--address 綁定到特定的位址

--config=FILE 指定其他的配置檔案，不使用預設的rsyncd.conf檔案

--port=PORT 指定其他的rsync服務端口

--blocking-io 對遠端shell使用阻塞IO

-stats 給出某些檔案的傳輸狀态

--progress 在傳輸時現實傳輸過程

--log-format=formAT 指定日志檔案格式

--password-file=FILE 從FILE中得到密碼

--bwlimit=KBPS 限制I/O帶寬，KBytes per second

-h, --help 顯示幫助資訊

本文轉自 295631788 51CTO部落格，原文連結：http://blog.51cto.com/hequan/1764262，如需轉載請自行聯系原作者

linux inotify+rsync

繼續閱讀

httpd服務的部署、啟動、配置和簡單優化一、部署二、啟動三、配置檔案

配置網頁内容通路

手動安裝Intel network I217-LM網卡的Linux驅動

《Linux指令行與Shell腳本程式設計大全第2版.布盧姆》pdf

禁止ubuntu系統彈出報錯界面

資料結構與算法（27）——排序（二）

Ubuntu Linux下Apache的配置檔案

ACS基本配置-權限等級管理

Dijkstra--簡易版（最短路徑）

GitHub連夜封殺！這份阿裡 10W 字内部 Java 字面試手冊到底有多強？

Bugku-WEB-web33

samba伺服器的功能

【Linux】UDP廣播封包接收速率問題

Linux裝置模型（中）之上層容器

PowerPC平台 Linux移植三

hdu7108哈希