用到的工具:inotify或者sersync,这次使用inotify演示。
创新互联是一家以网络技术公司,为中小企业提供网站维护、网站制作、成都网站建设、网站备案、服务器租用、申请域名、软件开发、重庆小程序开发公司等企业互联网相关业务,是一家有着丰富的互联网运营推广经验的科技公司,有着多年的网站建站经验,致力于帮助中小企业在互联网让打出自已的品牌和口碑,让企业在互联网上打开一个面向全国乃至全球的业务窗口:建站联系电话:028-86922220当inotify运行时会时刻监控着文件系统(inode、block等属性)
当inotify监控到目录有增加、修改、删除、移动操作时会调用rsync命令将目录传输到热备器上。
部署:
安装inotify,检查系统是否支持inotify
Linux内核从2.6.13起加入inotify
出现如下所示则表示支持
自带ISO没有inotify,需要自己下载
https://github.s3.amazonaws.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
安装inotify需要C编译器支持,需要提前安装gcc编译器
否则可能出现这个错误
可以使用echo $?查看是否有错误 0没错误 1有错误
安装命令:
tar zxf inotify-tools-3.14.tar.gz
cd inotify-tools-3.14/
./configure --prefix=/usr/local/inotify-tools-3.14
echo $?
make && make install
echo $?
ln -s /usr/local/inotify-tools-3.14/ /usr/local/inotify-tools
ls /usr/local/inotify-tools
history
一共安装了2个工具(命令),inotifywait和inotifywatch
Inotifywait:在被监控的文件或目录上等待特定文件系统事件(open、close、delete等)发生,执行后处于阻塞状态,适合在shell脚本中使用。(监控文件状态)
Inotifywatch:收集被监视的文件系统使用度统计数据,指文件系统时间发生的次数统计。
Inotifywait
参数解析:
-r 递归查询目录
-q 打印很少的信息,仅打印监控事件的信息
-m 始终保持事件监听状态
--excludei 排除文件或目录时,不区分大小写
--timefmt 指定时间输出的格式
–format:
%w表示发生事件的目录
%f表示发生事件的文件
%e表示发生的事件
%Xe事件以“X”分隔
%T使用由–timefmt定义的时间格式
-e事件
以下选项都是接在-e后面的
测试:
开2个创建一直监控一直执行
[root@nfs-server ~]# /usr/local/inotify-tools/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e create /data
其中参数解释:
-r 递归查询目录
-q 打印很少的信息,仅打印监控事件的信息
-m 始终保持事件监听状态
Timefmt时间戳格式 “日月年 时分”
–format:
%w表示发生事件的目录
%f表示发生事件的文件
%T使用由–timefmt定义的时间格式
当我创建文件的是时候会自动记录。
[root@nfs-server ~]# /usr/local/inotify-tools/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %e:%w%f' -e create /data
22/11/19 11:21 CREATE:/data/12345.txt
创建脚本,当监控到文件有变化时自动同步.
#!/bin/bash
inotify=/usr/local/inotify-tools/bin/inotifywait
$inotify -mrq --format '%w%f' -e create,close_write,delete /data \
|while read file
do
cd /data &&
rsync -az ./ --delete rsync_backup@192.168.24.32::backup \
--password-file=/etc/rsync.password
done
全路径后台运行该脚本,并且写入rc.local
/bin/sh /rsync.sh &
这步完成后,基本上每当/data这个目录有增删改都会自动同步到backup服务器上的/backup/data目录上
应用场景200~300并发以内可以使用这套方案(中小型企业)。‘
实时同步优化及应用极限建议
/proc/sys/fs/inotify目录下有三个文件,对inotify’机制有一定的限制
Max_user_watches:设置inotifywait或inotifywatch命令可以监视的文件数量(单进程)
Max_user_instances:设置每个用户可以允许的inotifywait或inotifywatch命令的进程数
Max_queued_events:设置inotify实例时间(event)队列可容纳的时间数量。
Inotify优点:
1)实时数据同步
Inotify缺点:
1)并发如果大于200个文件(10-100K),同步就会有延迟。
2)监控到事件后,调用rsync同步是单进程的(加&并发),sersync多进程同步。既然有了inotify-tools,为什么还要sersync?
Sersync功能多:
1)配置文件。
2)真正的守护进程socket。
3)可以对失败文件定时重传(定时任务)。
4)第三方的HTTP接口。
5)默认多线程同步。
另外有需要云服务器可以了解下创新互联cdcxhl.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。