系统运维|sersync：基于 rsync + inotify 实现数据实时同步

前言提到数据同步就必然会谈到rsync，一般简单的服务器数据传输会使用ftp/sftp等方式，但是这样的方式效率不高，不支持差异化增量同步也不支持实时传输。针对数据实时同步需求大多数人会选择rsync+inotify-tools的解决方案，但是这样的方案也存在一些缺陷（文章中会具体指出），sersync是国人基于前两者开发的工具，不仅保留了优点同时还强化了实时监控，文件过滤，简化配置等功能，帮助用户提高运行效率，节省时间和网络资源。

可靠高效的数据实时同步方式

原理Synchronizefilesandfoldersbetweenservers-usinginotiyandrsyncwithc++服务器实时同步文件，服务器镜像解决方案

sersync主要用于服务器同步，web镜像等功能。基于boost1.43.0,inotifyapi,rsynccommand.开发。目前使用的比较多的同步解决方案是inotify-tools+rsync，另外一个是google开源项目Openduckbill（依赖于inotify-tools），这两个都是基于脚本语言编写的。相比较上面两个项目，本项目优点是：

sersync是使用c++编写，而且对linux系统文件系统产生的临时文件和重复的文件操作进行过滤（详细见附录，这个过滤脚本程序没有实现），所以在结合rsync同步的时候，节省了运行时耗和网络资源。因此更快。相比较上面两个项目，sersync配置起来很简单，其中bin目录下已经有基本上静态编译的2进制文件，配合bin目录下的xml配置文件直接使用即可。另外本项目相比较其他脚本开源项目，使用多线程进行同步，尤其在同步较大文件时，能够保证多个服务器实时保持同步状态。本项目有出错处理机制，通过失败队列对出错的文件重新同步，如果仍旧失败，则按设定时长对同步失败的文件重新同步。本项目自带crontab功能，只需在xml配置文件中开启，即可按您的要求，隔一段时间整体同步一次。无需再额外配置crontab功能。本项目socket与http插件扩展，满足您二次开发的需要。针对上图的设计架构，这里做几点说明，来帮助大家阅读和理解该图

1)线程组线程是等待线程队列的守护线程，当事件队列中有事件产生的时候，线程组守护线程就会逐个唤醒同步线程。当队列中Inotify事件较多的时候，同步线程就会被全部唤醒一起工作。这样设计的目的是为了能够同时处理多个Inotify事件，从而提升服务器的并发同步能力。同步线程的最佳数量核数x2+2。

2)那么之所以称之为线程组线程，是因为每个线程在工作的时候，会根据服务器上新写入文件的数量去建立子线程，子线程可以保证所有的文件与各个服务器同时同步。当要同步的文件较大的时候，这样的设计可以保证每个远程服务器都可以同时获得需要同步的文件。

3)服务线程的作用有三个：

处理同步失败的文件，将这些文件再次同步，对于再次同步失败的文件会生成rsync_fail_log.sh脚本，记录失败的事件。每隔10个小时执行rsync_fail_log.sh脚本一次，同时清空脚本。crontab功能，可以每隔一定时间，将所有路径整体同步一次。4)过滤队列的建立是为了过滤短时间内产生的重复的inotify信息，例如在删除文件夹的时候，inotify就会同时产生删除文件夹里的文件与删除文件夹的事件，通过过滤队列，当删除文件夹事件产生的时候，会将之前加入队列的删除文件的事件全部过滤掉，这样只产生一条删除文件夹的事件，从而减轻了同步的负担。同时对于修改文件的操作的时候，会产生临时文件的重复操作。

角色注意主从配置的区别，记得调整SELinux和防火墙

iptables配置实践-http://wsgzao.github.io/post/iptables/LTMP手动编译安装以及全自动化部署实践-http://wsgzao.github.io/post/ltmp/

服务器A（主服务器）服务器B（从服务器/备份服务器）rsync默认TCP端口为873服务器B在服务器B上安装rsync：

cd/app/localwgethttp://rsync.samba.org/ftp/rsync/src/rsync-3.1.1.tar.gztarzxfrsync-3.1.1.tar.gzcdrsync-3.1.1./configuremake&&makeinstall设置rsync的配置文件：

vi/etc/rsyncd.conf#服务器B上的rsyncd.conf文件内容uidrootgidroot#最大连接数maxconnections36000#默认为true，修改为no，增加对目录文件软连接的备份usechrootno#定义日志存放位置logfile/var/log/rsyncd.log#忽略无关错误ignoreerrorsyes#设置rsync服务端文件为读写权限readonlyno#认证的用户名与系统帐户无关在认证文件做配置，如果没有这行则表明是匿名authusersrsync#密码认证文件，格式(虚拟用户名:密码）secretsfile/etc/rsync.pass#这里是认证的模块名，在client端需要指定，可以设置多个模块和路径[rsync]#自定义注释commentrsync#同步到B服务器的文件存放的路径path/app/data/site/[img]commentimgpath/app/data/site/img创建rsync认证文件可以设置多个，每行一个用户名:密码，注意中间以“:”分割

echo"rsync:rsync">/etc/rsync.pass设置文件所有者读取、写入权限：

chmod600/etc/rsyncd.confchmod600/etc/rsync.pass启动服务器B上的rsync服务：

#rsync--daemon-vrsync--daemon监听端口873：

netstat-an|grep873lsof-itcp:873COMMANDPIDUSERFDTYPEDEVICESIZE/OFFNODENAMErsync31445root4uIPv44438720t0TCP*:rsync(LISTEN)rsync31445root5uIPv64438730t0TCP*:rsync(LISTEN)设置rsync为服务启动项（可选）：

echo"/usr/local/bin/rsync--daemon">>/etc/rc.local要Killrsync进程，不要用kill-HUP{PID}的方式重启进程，以下3种方式任选：

#ps-ef|greprsync|grep-vgrep|awk'{print$2}'|xargskill-9#cat/var/run/rsyncd.pid|xargskill-9pkillrsync再次启动：

/usr/local/bin/rsync--daemon服务器A安装rsync：

cd/app/localwgethttp://rsync.samba.org/ftp/rsync/src/rsync-3.1.1.tar.gztarzxfrsync-3.1.1.tar.gzcdrsync-3.1.1./configuremake&&makeinstall安装inotify-tools：

cd/app/localwgethttp://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gztarzxfinotify-tools-3.14.tar.gzcdinotify-tools-3.14./configure--prefix/app/local/inotifymake&&makeinstall安装sersync：

cd/app/localwgethttps://sersync.googlecode.com/files/sersync2.5.4_64bit_binary_stable_final.tar.gztarzxfsersync2.5.4_64bit_binary_stable_final.tar.gzmv/app/local/GNU-Linux-x86//app/local/sersynccd/app/local/sersync配置下密码文件，因为这个密码是要访问服务器B需要的密码和上面服务器B的密码必须一致：

echo"rsync">/app/local/sersync/user.pass修改权限：

chmod600/app/local/sersync/user.pass修改confxml.conf：

vi/app/local/sersync/confxml.xml