rsync+inotify实现多台服务器之间数据实时同步

一、前言

可以配置SSH信任，做信任后，同步就不需要密码文件了

1、rsync

如果你man一下sync的话，就会发现：sync-flush file system buffers，它是一个把缓冲区中的数据同步到文件系统中的一个命令；而rsync其实就是remote rsync，它是一个远程同步工具，兼具cp和scp的功能，rsync命令的使用几乎和scp是一样一样的。rsync是通过超级守护进程xinetd进行触发同步的。

1）优点：与cp和scp相比来说，rsync更快，更安全，支持增量备份。rsync在数据同步的过程中，不像cp一样全部都拷贝，而是先去比对特征码，只有不一样的才会去拷贝，如果一样了，就不需再做多余操作。通过使用rsync+crontab可以解决对实时性要求不是太高的场景。

2）缺点：在这个大数据年代，如果你的数据量非常大，你每做一次任务计划，rsync都会先去遍历目标目录，把所有数据做一次特征码比对，然后进行差量传输，这个过程会是很漫长的，对于那些要求实时性更新比较高的企业来说，无疑是一场噩梦。但是如果能够出现一个工具能够实时的去监控我们的文件系统，只有在数据改变时才会触发它去同步，那该有多好啊！为了满足广大需求者的心声rsync+inotify组合就出现了

2、inotify

Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了Inotify支持，通过Inotify可以监控文件系统中添加、***，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件。

3、rsync+inotify 之推荐理由

1）服务器性能：rsync+crontab会定时去检查是否有文件更新，这势必会造成服务器性能下降；而rsync+inotify组合是触发式更新，只有在数据文件有变化时，才会去更新，因此相对前者而言，是提高了服务器性能

2）数据实时性：rsync+crontab是周期性任务计划，不能保证数据的实时性；rsync+inotify组合是触发式更新，只要有数据变化，就立刻同步更新

二、系统平台环境

1、操作系统：CentOS6.4-X86_64

2、rsync客户端（rsync+inotify）：172.16.150.150

3、rsync服务端：172.16.251.93，172.16.251.194

三、实验拓扑

四、配置rsync服务端（172.16.251.93、172.16.251.194）

1、配置rsync服务端：172.16.251.93

1）检查系统是否已经安装rsync和xinetd超级守护进程，CentOS6.4默认已经安装rsync，但未安装xinetd

<code>[root@nmshuishui www]</code><code># rpm -qa | grep rsync</code>

<code>rsync</code><code>-3.0.6-9.el6.x86_64</code>

<code>yum -y </code><code>install</code> <code>xinetd </code><code>rsync</code>

2）为rsync服务提供配置文件

vim /etc/rsyncd.conf

<code>#Global Settings 全局配置</code>

<code>uid = nobody </code><code>#运行rsync的用户</code>

<code>gid = nobody </code><code>#运行rsync的用户组</code>

<code>use chroot = no </code><code>#是否让进程离开工作目录</code>

<code>max connections = 5 </code><code>#最大并发连接数，0为不限制</code>

<code>timeout = 600 </code><code>#超时时间</code>

<code>pid </code><code>file</code> <code>= </code><code>/var/run/rsyncd</code><code>.pid </code><code>#指定rsync的pid存放路径</code>

<code>lockfile = </code><code>/var/run/rsyncd</code><code>.lock </code><code>#指定rsync的锁文件存放路径</code>

<code>log </code><code>file</code> <code>= </code><code>/var/log/rsyncd</code><code>.log </code><code>#指定rsync的日志存放路径</code>

<code>path = </code><code>/var/www</code> <code>#认证的模块名,在client端需要指定</code>

<code>ignore errors = </code><code>yes</code> <code>#忽略一些无关的I/O错误</code>

<code>read</code> <code>only = no </code><code>#客户端是否能拉（PULL）</code>

<code>write only = no </code><code>#客户端是否能推（PUSH）</code>

<code>hosts allow = 172.16.150.150 </code><code>#白名单，可以访问此模块的主机</code>

<code>hosts deny = * </code><code>#黑名单，*表示任何主机</code>

<code>list = </code><code>yes</code> <code>#客户端请求是否可以列出模块列表</code>

<code>uid = root </code><code>#以root的身份去获取文件</code>

<code>auth </code><code>users</code> <code>= web </code><code>#认证此模块的用户名</code>

<code>secrets </code><code>file</code> <code>= </code><code>/etc/web</code><code>.</code><code>passwd</code> <code>#指定存放“用户名：密码”格式的文件</code>

<code>#一种更简便的写法</code>

<code>#Global Settings </code>

<code>hosts allow = 10.10.64.218 10.10.1.10 59.108.99.178</code>

<code>max connections = 10</code>

<code>pid </code><code>file</code> <code>= </code><code>/var/run/rsyncd</code><code>.pid</code>

<code>lockfile = </code><code>/var/run/rsyncd</code><code>.lock</code>

<code>log </code><code>file</code> <code>= </code><code>/var/log/rsyncd</code><code>.log</code>

<code>read</code> <code>only = </code><code>yes</code> <code>#如果要写入此模块，则 read only = no</code>

<code>auth </code><code>users</code> <code>= www</code>

<code>secrets </code><code>file</code> <code>= </code><code>/etc/rsyncd</code><code>.secret</code>

<code>auth </code><code>users</code> <code>= opt</code>

3）创建同步目录

<code>[root@nmshuishui ~]</code><code># mkdir /var/www</code>

4）配置rsync认证文件/etc/web.passwd

<code>[root@nmshuishui ~]</code><code># echo "web:web" > /etc/web.passwd</code>

<code>[root@nmshuishui ~]</code><code># cat /etc/web.passwd</code>

5)修改/etc/web.passwd（服务端）的权限为600，且属主必须为root

客户端的密码文件的属主可以不为root，需为当前登录系统用户，权限也为600。有时候会遇到在服务器上只有普通用户权限的情况，那就不能在/etc/下创建密码文件了，可以创建在此登录用户的家目录下，一样解决问题

<code>[root@nmshuishui ~]</code><code># chmod 600 /etc/web.passwd</code>

<code>[root@nmshuishui ~]</code><code># ll /etc/web.passwd</code>

<code>-rw------- 1 root root 10 Mar 27 22:31 </code><code>/etc/web</code><code>.</code><code>passwd</code>

6）配置服务能够启动

<code>[root@nmshuishui ~]</code><code># chkconfig rsync on</code>

<code>[root@nmshuishui ~]</code><code># service xinetd start</code>

<code>Starting xinetd: [ OK ]</code>

7）检查873端口是否成功监听

8）检查rsync运行状态

<code>[root@nmshuishui ~]</code><code># chkconfig --list</code>

2、配置rsync服务端：172.16.251.194

步骤同上

1）检查系统是否已经安装rsync和xinetd超级守护进程

2）为rsync服务提供配置文件

vim /etc/rsyncd.conf

<code>#Global Settings</code>

<code>uid = nobody</code>

<code>gid = nobody</code>

<code>use chroot = no</code>

<code>max connections = 5</code>

<code>timeout = 600</code>

<code>ignore errors = </code><code>yes</code>

<code>write only = no</code>

<code>hosts allow = 172.16.150.150</code>

<code>hosts deny = *</code>

<code>auth </code><code>users</code> <code>= web</code>

<code>secrets </code><code>file</code> <code>= </code><code>/etc/web</code><code>.</code><code>passwd</code>

3）创建同步目录

<code>[root@shuishui www]</code><code># mkdir /var/www</code>

<code>[root@shuishui ~]</code><code># echo "web:web" > /etc/web.passwd</code>

<code>[root@shuishui ~]</code><code># cat /etc/web.passwd</code>

5)修改/etc/web.passwd的权限为600

<code>[root@shuishui ~]</code><code># chmod 600 /etc/web.passwd</code>

<code>[root@shuishui ~]</code><code># ll /etc/web.passwd</code>

<code>-rw------- 1 root root 10 Mar 29 15:21 </code><code>/etc/web</code><code>.</code><code>passwd</code>

五、配置rsync客户端（172.16.150.150）

1、设置 rsync 客户端的密码文件，客户端只需要设置 rsync 同步的密码即可，不用设置用户名（默认已经安装了rsync）

<code>[root@shuishui ~]</code><code># echo web > /etc/web.passwd</code>

2、修改/etc/web.passwd的权限为600，客户端密码文件属主.属组为登录系统的当前用户

<code>[root@shuishui www]</code><code># chmod 600 /etc/web.passwd</code>

<code>[root@shuishui www]</code><code># ll /etc/web.passwd</code>

<code>-rw------- 1 root root 10 Mar 26 21:28 </code><code>/etc/web</code><code>.</code><code>passwd</code>

3、安装inotify-tools

<code># tar xf inotify-tools-3.13.tar.gz</code>

<code># cd inotify-tools-3.13</code>

<code># ./configure</code>

<code># make && make install</code>

4、在172.16.150.150上测试下能否同步文件

不管是推还是拉，推、拉操作都是在rsync客户端执行的

<code>[root@shuishui www]</code><code># rsync -vzrtopg --delete --password-file=/etc/web.passwd /etc/fstab [email protected]::web1 #PUSH</code>

<code>[root@shuishui www]</code><code># rsync -vzrtopg --delete --password-file=/etc/web.passwd [email protected]::web1/123 /var/www/ #PULL</code>

上面这个命令行中-vzrtopg里的v是verbose，z是压缩，r是recursive，topg都是保持文件原有属性如属主、时间的参数

1）第1条是是从rsync客户端（172.16.150.150）上传文件到rsync服务端（172.16.251.93），这里必须要指定密码文件

2）第2条是从rsync服务端（172.16.251.93）下载文件到rsync客户端（172.16.150.150）

3）以上两条说明了，rsync服务端和客户端是可用的；经测试，另一台rsync服务端也可用，不再贴图了。接下来的任务就是编写服务脚本了，能够让rsync客户端自动监测目录的变动情况，并自动同步到rsync服务端，完全实现自动化。

5、排除文件及目录

<code>rsync</code> <code>-vzrtopg --delete --password-</code><code>file</code><code>=</code><code>/etc/web</code><code>.</code><code>passwd</code> <code>--exclude=</code><code>"logs/nginx.log"</code> <code>[email protected]::web1</code><code>/123</code> <code>/var/www/</code>

<code>rsync</code> <code>-vzrtopg --delete --password-</code><code>file</code><code>=</code><code>/etc/web</code><code>.</code><code>passwd</code> <code>--exclude=</code><code>"logs"</code> <code>[email protected]::web1</code><code>/123</code> <code>/var/www/</code>

六、编写rsync脚本，实现数据实时同步

1、在rsync客户端（172.16.150.150）编写rsync脚本

vim /var/www/rsync.sh

<code>/usr/local/bin/inotifywait</code> <code>-mrq --timefmt </code><code>'%d/%m/%y %H:%M'</code> <code>--</code><code>format</code> <code>'%T %w %f'</code> <code>-e modify,delete,create,attrib $src | </code><code>while</code> <code>read</code> <code>file</code> <code>DATE TIME DIR;</code>

<code>/usr/bin/rsync</code> <code>-vzrtopg --delete --progress $src $user1@$host1::$des1 --password-</code><code>file</code><code>=</code><code>/etc/web</code><code>.</code><code>passwd</code>

<code>/usr/bin/rsync</code> <code>-vzrtopg --delete --progress $src $user2@$host2::$des2 --password-</code><code>file</code><code>=</code><code>/etc/web</code><code>.</code><code>passwd</code>

<code>echo</code> <code>"${files} was rsynced"</code> <code>>> </code><code>/var/log/rsync</code><code>.log 2>&1</code>

2、给rsync.sh执行权限

<code>[root@shuishui www]</code><code># chmod +x rsync.sh</code>

<code>[root@shuishui www]</code><code># ll rsync.sh</code>

<code>-rwxr-xr-x 1 root root 523 Mar 27 00:46 </code><code>rsync</code><code>.sh</code>

3、把脚本加入到开机自动启动文件

<code>[root@shuishui www]</code><code># echo "/var/www/rsync.sh &" >> /etc/rc.local</code>

4、同步测试

在测试之前，为了演示效果的明显，我先把两台rsync服务端的/var/www/下的所有文件都清除掉，让其把持一个空目录，然后重启下rsync客户端，开机后，在rsync客户端的/var/www目录中，新建一个文件，看其是否能够成功监控并自动同步

1）rsync服务端（172.16.251.93，172.16.251.194）/var/www目录下都空；rsync客户端（172.16.150.150）/var/www目录下非空

2）开机在rsync客户端（172.16.150.150）/var/www目录下touch一个6

3）查看rsync服务端（172.16.251.93）是否同步成功

4）查看rsync服务端（172.16.251.194）是否同步成功

七、rsync报错

1、rsync: chgrp "/." (in res_hk) failed: Operation not permitted (1)

解决办法：需要加一个 --no-group

<code>rsync</code> <code>-vzrtopg --no-group --delete --password-</code><code>file</code><code>=</code><code>/etc/rsync</code><code>.vietnam </code><code>/root/config/</code> <code>[email protected]::res_hk</code>

本文转自 nmshuishui 51CTO博客，原文链接：http://blog.51cto.com/nmshuishui/1387048，如需转载请自行联系原作者

rsync+inotify实现多台服务器之间数据实时同步

继续阅读

测试基础第一课

github 如何和 xcode 联系起来

[转]Top 20 Programming Lessons I've Learned in 20 Years

Linux系统命令行整理

Windows命令行使用Git下的Curl命令

科研项目管理平台

WIN10下命令行禁用编辑模式

Eclipse搭建Web Service服务

web service 的简单实现

Web Service 应用实例

Web Service开发实战

更改LYNC SIP地址

终端环境之tmux

lvm创建、扩容

HBuilder开发App Step1——环境搭建，HelloMUI 以及真机调试

27 Best Free Eclipse Plug-ins for Java Developer to be ProductiveCode Quality PluginsText Editor PluginsDependency ManagementVersion Control Integration PluginsFramework Development Continuous Integration Related PluginsOther Utility Plugins