数据的实时同步介绍

rsync工具用法

运维派隶属马哥教育旗下专业运维社区,是国内成立最早的IT运维技术社区,欢迎关注公众号:yunweipai
领取学习更多免费Linux云计算、Python、Docker、K8s教程关注公众号:马哥linux运维

实现inotify

内核支持

内核是否支持inotify

Linux支持inotify的内核最小版本为 2.6.13,参看man 7 inotify

#列出下面的文件,说明服务器内核支持inotify
[root@centos8 ~]#ls -l /proc/sys/fs/inotify   
-rw-r--r-- 1 root root 0 Dec  7 10:10 max_queued_events
-rw-r--r-- 1 root root 0 Dec  7 10:10 max_user_instances
-rw-r--r-- 1 root root 0 Dec  6 05:54 max_user_watches

[root@centos8 ~]#cat /proc/sys/fs/inotify/max_queued_events
16384
[root@centos8 ~]#cat /proc/sys/fs/inotify/max_user_instances
128
[root@centos8 ~]#cat /proc/sys/fs/inotify/max_user_watches
8192

inotify内核参数说明:

  • max_queued_events:inotify 事件队列最大长度,如值太小会出现 Event Queue Overflow 错误,默认值:16384
  • max_user_instances:每个用户创建inotify实例最大值,默认值:128
  • max_user_watches:可以监视的文件数量(单进程),默认值:8192

范例:

[root@data-centos8 ~]#vim /etc/sysctl.conf 
fs.inotify.max_queued_events=66666
fs.inotify.max_user_watches=100000    
[root@centos8 ~]#sysctl  -p
fs.inotify.max_queued_events = 66666
fs.inotify.max_user_watches = 100000
[root@centos8 ~]#cat /proc/sys/fs/inotify/*
66666
128
100000
inotify-tools工具

inotify-tools参考文档:https://github.com/rvoicilas/inotify-tools/wiki

安装inotify-tools:基于epel源

[root@data-centos8 ~]# yum -y install  inotify-tools

inotify-tools包主要工具:

  • inotifywait: 在被监控的文件或目录上等待特定文件系统事件(open ,close,delete等)发生,常用于实时同步的目录监控
  • inotifywatch:收集被监控的文件系统使用的统计数据,指文件系统事件发生的次数统计

inotifywait 命令常见选项

  • -m, –monitor 始终保持事件监听
  • -d, –daemon 以守护进程方式执行,和-m相似,配合-o使用
  • -r, –recursive 递归监控目录数据信息变化
  • -q, –quiet 输出少量事件信息
  • –exclude 指定排除文件或目录,使用扩展的正则表达式匹配的模式实现
  • –excludei 和exclude相似,不区分大小写
  • -o, –outfile 打印事件到文件中,相当于标准正确输出,注意:使用绝对路径
  • -s, –syslogOutput 发送错误到syslog相当于标准错误输出
  • –timefmt 指定时间输出格式
  • –format 指定的输出格式;即实际监控输出内容
  • -e 指定监听指定的事件,如果省略,表示所有事件都进行监听

inotifywait 的–timefmt 时间格式

参考 man 3 strftime

  • %Y 年份信息,包含世纪信息
  • %y 年份信息,不包括世纪信息
  • %m 显示月份,范围 01-12
  • %d 每月的第几天,范围是 01-31
  • %H 小时信息,使用 24小时制,范围 00-23
  • %M 分钟,范围 00-59
  • %S 秒,范例 0-60

范例:

--timefmt "%Y-%m-%d %H:%M:%S"

inotifywait 的 –format 格式定义

  • %T 输出时间格式中定义的时间格式信息,通过 –timefmt option 语法格式指定时间信息
  • %w 事件出现时,监控文件或目录的名称信息,相当于dirname
  • %f 事件出现时,将显示监控目录下触发事件的文件或目录信息,否则为空,相当于basename
  • %e 显示发生的事件信息,不同的事件默认用逗号分隔
  • %Xe显示发生的事件信息,不同的事件指定用X进行分隔

范例:

--format "%T %w%f event: %;e"
--format '%T  %w  %f'

inotifywait -e 选项指定的事件类型

  • create 文件或目录创建
  • delete 文件或目录被删除
  • modify 文件或目录内容被写入
  • attrib 文件或目录属性改变
  • close_write 文件或目录关闭,在写入模式打开之后关闭的
  • close_nowrite 文件或目录关闭,在只读模式打开之后关闭的
  • close 文件或目录关闭,不管读或是写模式
  • open 文件或目录被打开
  • moved_to 文件或目录被移动到监控的目录中
  • moved_from 文件或目录从监控的目录中被移动
  • move 文件或目录不管移动到或是移出监控目录都触发事件
  • access 文件或目录内容被读取
  • delete_self 文件或目录被删除,目录本身被删除
  • unmount 取消挂载

范例:

-e create,delete,moved_to,close_write, attrib

范例:使用inotifywait

#监控一次性事件
inotifywait /data/www
Setting up watches.
Watches established.
/data/www/ CREATE f1.txt

#持续前台监控
inotifywait -mrq /data/www  --exclude=".*\.swp"
/data/www/ OPEN f1.txt
/data/www/ ACCESS f1.txt
/data/www/ CLOSE_NOWRITE,CLOSE f1.txt

#持续后台监控,并记录日志
inotifywait -o /root/inotify.log -drq /data/www --timefmt "%Y-%m-%d %H:%M:%S" --format "%T %w%f event: %e" 

#持续前台监控特定事件
inotifywait -mrq /data/www --timefmt "%F %H:%M:%S" --format "%T %w%f  event: %;e" -e create,delete,moved_to,close_write,attrib

本文链接:http://www.yunweipai.com/36019.html

数据的实时同步介绍

rsync工具用法

网友评论comments

发表评论

邮箱地址不会被公开。

暂无评论

Copyright © 2012-2021 YUNWEIPAI.COM - 运维派 京ICP备16064699号-6
扫二维码
扫二维码
返回顶部