在某些电子档案存储的业务系统下,按照业务场景要求,需要将产生的所有电子影像资料永久存储,并支持备份;因为“钞能力”等原因,一般备份存储只有一个节点(即:一个备份存储服务器);这样就要求研发工程师,不能采用类似Ceph的集群节点解决方案,只能采用双节点的备份解决方案。
在linux下,常见的小文件双节点文件同步,通常采用rsync这个工具;但Rsync有如下几个问题:
- rsync 在同步数据时,需要扫描所有文件后进行比对,进行差量传输。如果文件数量达到了百万甚至千万量级,扫描所有文件将是非常耗时的,并且正在发生变化的往往是其中很少的一部分,这是十分低效的方式;
- rsync 不能实时监测、同步数据,虽然可以通过 linux 守护进程的方式进行触发同步,但是两次触发动作一定会有时间差,这样就导致了服务端和客户端数据可能出现不一致,无法在应用故障时完全的恢复数据
改进方案,引入inotify工具:inotify 是一种强大的、细粒度的、异步的文件系统事件控制机制。linux 内核从 2.6.13 起,加入了 inotify 支持。通过 inotify 可以监控文件系统中添加、删除、修改、移动等各种事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而 inotify-tools 正是实时监控的软件。在使用 rsync 首次全量同步后,结合 inotify 对资源目录进行实时监控,只要有文件变动或新文件产生,就会立刻同步到目标目录下,非常高效实用。
一、安装相关工具(这里以CentOS操作系统为例,Ubuntu安装类似)
# step1、rsync安装 yum -y install rsync # step2、inotify安装 yum install -y inotify-tools
至此基础环境已经搭建完成,下面简要介绍一下,上面的两个工具的具体用法:
- rsync 常用参数如下:
-v :展示详细的同步信息 -a :归档模式,相当于 -rlptgoD -r :递归目录 -l :同步软连接文件 -p :保留权限 -t :将源文件的"modify time"同步到目标机器 -g :保持文件属组 -o :保持文件属主 -D :和--devices --specials一样,保持设备文件和特殊文件 -z :发送数据前,先压缩再传输 -H :保持硬链接 -n :进行试运行,不作任何更改 -P same as --partial --progress --partial :支持断点续传 --progress :展示传输的进度 --delete :如果源文件消失,目标文件也会被删除 --delete-excluded :指定要在目的端删除的文件 --delete-after :默认情况下,rsync是先清理目的端的文件再开始数据同步;如果使用此选项,则rsync会先进行数据同步,都完成后再删除那些需要清理的文件。 --exclude=PATTERN :排除匹配PATTERN的文件 --exclude-from=FILE :如果要排除的文件很多,可以统一写在某一文件中 -e ssh :使用SSH加密隧道传输
- inotify常用参数如下:
# 1、inotifywait 参数说明: -m,–monitor:始终保持事件监听状态 # 重要参数 -r,–recursive:递归查询目录 # 重要参数 -q,–quiet:只打印监控事件的信息 # 重要参数 –excludei:排除文件或目录时,不区分大小写 -t,–timeout:超时时间 –timefmt:指定时间输出格式 # 重要参数 –format:指定时间输出格式 # 重要参数 -e,–event:后面指定删、增、改等事件 # 重要参数 # 2、inotifywait events事件说明: access:读取文件或目录内容 modify:修改文件或目录内容 attrib:文件或目录的属性改变 close_write:修改真实文件内容 # 重要参数 close_nowrite:文件或目录关闭,在只读模式打开之后关闭的 close:文件或目录关闭,不管读或是写模式 open:文件或目录被打开 moved_to:文件或目录移动到 moved_from:文件或目录从移动 move:移动文件或目录移动到监视目录 # 重要参数 create:在监视目录下创建文件或目录 # 重要参数 delete:删除监视目录下的文件或目录 # 重要参数 delete_self:文件或目录被删除,目录本身被删除 unmount:卸载文件系统 # 使用示例: # 文件创建事件监控: inotifywait -mrq /data --timefmt "%d-%m-%y %H:%M" --format "%T %w%f 事件信息: %e" -e create # 文件删除事件监控 inotifywait -mrq /data --timefmt "%d-%m-%y %H:%M" --format "%T %w%f 事件信息: %e" -e delete # 文件修改事件监控 inotifywait -mrq /data --timefmt "%d-%m-%y %H:%M" --format "%T %w%f 事件信息: %e" -e close_write
二、相关Shell脚本实现(主服务器上)
#!/bin/bash # 数据所在路径 path=/home/img_data # 备份服务器地址 server=192.168.0.2 user=root module=sync_file monitor() { # 此处为了降低cpu使用率,只监控新建的文件 若是要考虑 删除 或 修改的文件,可以使用,close_write,delete /usr/bin/inotifywait -mrq --format '%w%f' -e create $1 | while read line; do if [ -f $line ]; then rsync -avz $line --delete ${user}@${server}::${module} --password-file=/etc else cd $1 && rsync -avz ./ --delete ${user}@${server}::${module} --password-file=/etc fi done } monitor $Path;
相关问题,欢迎留言提问;欢迎大家点赞、关注、加收藏~