rsync+inotify 实时同步

红太狼 2024-04-03 10:02 62阅读 0赞

**目录**

Rsync

一、rsync介绍

二、同步方式

1、全量备份

2、增量备份

三、rsync命令

1、rsync作为本地复制工具使用时，目录后面带“/”和不带的区别

2、scp在两个节点间复制时用法

3、配置源的两种命令表示方法

3.1、方法一

3.2、方法二

四、实验：远程复制

1、环境要求

2、安装/更新 rsync

3、修改/etc/rsyncd.cof配置文件内容

4、创建源目录、修改权限，及账户密码

5、开启rsync服务、及关闭方式

6、实验验证（上行同步和下行同步）

6.1、下行同步

6.2、上行同步

6.3、免密登录 及删除client端和源目录不一样的文件

inotify

五、inotify主要功能于优化

1、功能：

2、优化：调整inotify的内核参数

3、 inotify工作流程

4、inotifywait 持续性监控并实时输出监控结果的命令

六、rsync+inotify实验

1、实验配置（基于rsync实验）

2、实验验证

3、编写触发式同步脚本

--------------------

## Rsync ##

## 一、rsync介绍 ##

1、rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息，实现数据的备份迁移特性。

2、rsync软件适用于unix/linux/windows等多种操作系统平台

3、rsync是一个快速和非常方便的文件复制工具。它能本地复制，远程复制，或者远程守护进程方式复制，它提供了大量的参数来控制其行为的各个方面，并且允许非常灵活的方式来实现文件的传输复制

4、以其delta-transfer算法闻名

5、rsync监听端口:873

6、rsync运行模式:c/s

## 二、同步方式 ##

### 1、全量备份 ###

①把原有的数据全部发出

②把原来的文件和新的文件一起统一发出

③全量复制，效率低

### 2、增量备份 ###

在传输数据之前通过一些算法，通过你有的数据和我有的数据进行对比，把不一样的数据通过网络传输增量复制、效率高

## 三、rsync命令 ##

语法：

rsync \[选项\] 原始位置 目标位置

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td>常用选项</td> 
   <td>说明</td> 
  </tr> 
  <tr> 
   <td>-r</td> 
   <td>递归模式，包含目录及子目录中的所有文件</td> 
  </tr> 
  <tr> 
   <td>-l</td> 
   <td>对于符号链接文件仍然复制为符号链接文件</td> 
  </tr> 
  <tr> 
   <td>-v</td> 
   <td>显示同步过程的详细信息</td> 
  </tr> 
  <tr> 
   <td>-z</td> 
   <td>在传输文件时进行压缩</td> 
  </tr> 
  <tr> 
   <td>-a</td> 
   <td>归档模式，递归并保留对象属性，等同于-rlptgoD</td> 
  </tr> 
  <tr> 
   <td>-p</td> 
   <td>保留文件的权限标记</td> 
  </tr> 
  <tr> 
   <td>-t</td> 
   <td>保留文件的时间标记</td> 
  </tr> 
  <tr> 
   <td>-g</td> 
   <td>保留文件的属组标记(仅超级用户使用)</td> 
  </tr> 
  <tr> 
   <td>-o</td> 
   <td>保留文件的属主标记(仅超级用户使用)</td> 
  </tr> 
  <tr> 
   <td>-H</td> 
   <td>保留硬链接文件</td> 
  </tr> 
  <tr> 
   <td>-A</td> 
   <td>保留ACL属性信息</td> 
  </tr> 
  <tr> 
   <td>-D</td> 
   <td>保留设备文件及其他特殊文件</td> 
  </tr> 
  <tr> 
   <td>--delete</td> 
   <td>删除目标位置有而原始位置没有的文件</td> 
  </tr> 
  <tr> 
   <td>--checksum</td> 
   <td>根据对象的校验和来决定是否跳过文件</td> 
  </tr> 
 </tbody> 
</table>

### 1、rsync作为本地复制工具使用时，目录后面带“/”和不带的区别 ###

[root@zhuwenbin /]# mkdir ceshi1 ceshi2   ## 在根目录下创建ceshi1和ceshi2目录
    
    
    [root@zhuwenbin /]# cd ceshi1                 ## 在ceshi1下创建a目录，在a目录下创建1.txt文件
    [root@zhuwenbin ceshi1]# ls
    [root@zhuwenbin ceshi1]# mkdir a
    [root@zhuwenbin ceshi1]# cd a
    [root@zhuwenbin a]# echo "this is a" > 1.txt    ## 设置文件内容方便确认实验结果
    
    [root@zhuwenbin a]# cat 1.txt                   ## 验证
    this is a
    
    
    ##################  测试1
    
    [root@zhuwenbin /]# rsync -avz /ceshi1/a /ceshi2   ##使用rsync复制时，目录a后面不加"/"
    
    
    [root@zhuwenbin /]# cd ceshi2                      ## 检验复制的是a整个目录
    [root@zhuwenbin ceshi2]# ls
    a
    [root@zhuwenbin ceshi2]# ls a/
    1.txt
    [root@zhuwenbin ceshi2]# cat a/1.txt 
    this is a
    
    
    ###################  测试2
    
    [root@zhuwenbin ceshi2]# ls
    a
    [root@zhuwenbin ceshi2]# rm -fr *                       ## 删除ceshi2下的所有内容
    [root@zhuwenbin ceshi2]# ls
    [root@zhuwenbin ceshi2]# rsync -avz /ceshi1/a/ /ceshi2  ## 复制.目录a后面带“/”
    sending incremental file list
    ./
    1.txt
    
    sent 116 bytes  received 38 bytes  308.00 bytes/sec
    total size is 10  speedup is 0.06
    [root@zhuwenbin ceshi2]# ls              ##复制的仅为a目录下的内容不会复制目录a
    1.txt

### 2、scp在两个节点间复制时用法 ###

①从本地节点复制到其他节点

②在本地节点把其他节点复制过来

![a14e0ebedf7647eea5110385f95c345e.png][]

### 3、配置源的两种命令表示方法 ###

#### 3.1、方法一 ####

rsync -avz backuper@ip::wwwroot 目标位置

rsync -avz 用户名称@ip地址:: 模块名称 目标位置

#### 3.2、方法二 ####

rsync -avz rsync://backuper@ip/wwwroot 目标位置

rsync -avz rsync://用户名@ip地址 模块名称 目标位置

## 四、实验：远程复制 ##

### 1、环境要求 ###

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td>服务器</td> 
   <td>IP</td> 
  </tr> 
  <tr> 
   <td>rsync</td> 
   <td>192.168.159.68</td> 
  </tr> 
  <tr> 
   <td>client</td> 
   <td>192.168.159.11</td> 
  </tr> 
 </tbody> 
</table>

### 2、安装/更新 rsync ###

[root@zwb_rsync ~]# rpm -q rsync                ## 检查rsync是否安装
    rsync-3.1.2-4.el7.x86_64                        ## 已安装
    [root@zwb_rsync ~]# yum -y install rsync        ## 进行更新一下
    已加载插件：fastestmirror, langpacks
    Determining fastest mirrors
    epel/x86_64/metalink                         | 7.0 kB     00:00     
     * base: mirrors.ustc.edu.cn
     * epel: mirrors.bfsu.edu.cn
     * extras: mirrors.ustc.edu.cn
     * updates: mirrors.ustc.edu.cn
    base                                         | 3.6 kB     00:00     
    epel                                         | 4.7 kB     00:00     
    extras                                       | 2.9 kB     00:00     
    updates                                      | 2.9 kB     00:00     
    (1/4): extras/7/x86_64/primary_db              | 249 kB   00:00     
    (2/4): epel/x86_64/updateinfo                  | 1.0 MB   00:01 
    .............................................................................

### 3、修改/etc/rsyncd.cof配置文件内容 ###

[root@zwb_rsync ~]# vim /etc/rsyncd.conf 
    
    uid = root              ## uid 修改为root
    gid = root              ## gid 修改为root
    use chroot = yes        ## 禁锢在源目录
    
    address = 192.168.159.68    ## 监听地址
    port 873                     ## 监听端口（可以通过cat /etc/services | grep rsync进行查看）
    
    log file = /var/log/rsyncd.log  ## 日志文件位置
    pid file = /var/run/rsyncd.pid  ## 存放进程ID的文件位置
    hosts allow = 192.168.159.0/24     ## 允许访问的客户机地址
    [wwwroot]                           ## 第一共享模块
    path = /var/www/html                ## 源目录的实际地址
    comment = Document Root of www.ljm.com    
    read only = yes                                 ## 是否为只读
    dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z   ## 同步时不再压缩的文件类型
    auth users = backuper                  ## 授权账户，多个账户以空格分割
    secrets file = /etc/rsyncd_users.db    ## 存放账户信息的数据文件（密码）

### 4、创建源目录、修改权限，及账户密码 ###

[root@zwb_rsync ~]# mkdir -p /var/www/html
    [root@zwb_rsync ~]# chmod +r /var/www/html/
    
    [root@zwb_rsync ~]# vim /etc/rsyncd_users.db    ## 创建并设置密码为abc123
    backuper:abc123
    
    [root@zwb_rsync ~]# chmod 600 /etc/rsyncd_users.db   ## 给与权限

### 5、开启rsync服务、及关闭方式 ###

[root@zwb_rsync ~]# ss -antp | grep rsync        ## 查看显示未开启
    [root@zwb_rsync ~]# rsync --daemon               ## 开启rsync服务
    [root@zwb_rsync ~]# ss -antp | grep rsync        ## 查看显示端口已经打开
    LISTEN     0      5      192.168.159.68:873                      *:*                   users:(("rsync",pid=10391,fd=3))

> ### 关闭rsync方式： ###
> 
> ①、kill $(cat /var/run/rsyncd.pid)
> 
> ②、rm -rf /var/run/rsyncd.pid

###  ###

### 6、实验验证（上行同步和下行同步） ###

#### 6.1、下行同步 ####

从rsync端上把文件同步到client端\[下载\]

①在rsync端上创建文件

[root@zwb_rsync ~]# cd /var/www/html/               
    [root@zwb_rsync html]# ls
    [root@zwb_rsync html]# echo "this is go go go" >1.txt   ## 输入内容，在/var/www/html/ 
                                                             下创建1.txt
    [root@zwb_rsync html]# ls                               
    1.txt

②在servert端进行同步

[root@zwb_server /]# mkdir /abc
    
    [root@zhu_server opt]# cd /abc               ## 创建一个data目录
    [root@zhu_server data]# ls
    [root@zhu_server data]# rsync -avz backuper@192.168.159.68::wwwroot /abc  
                             ## 把192.168.159.68主机的设置的共享目录下的所有文件复制到本地 
                                           
    [root@zwb_server /]# rsync -avz backuper@192.168.159.68::wwwroot /abc
    Password:   ###################### 输入设置的密码  abc123
    receiving incremental file list
    ./
    1.txt
    
    sent 46 bytes  received 116 bytes  8.31 bytes/sec
    total size is 17  speedup is 0.10
    
    [root@zwb_server /]# cd /abc            ### 查看结果
    [root@zwb_server abc]# ls
    1.txt
    [root@zwb_server abc]# cat 1.txt 
    this is go go go

③在rsync端进行同步

[root@zwb_rsync html]# rsync -avz /var/www/html/ root@192.168.159.11:/ceshi
    root@192.168.159.11's password: 
    sending incremental file list
    ./
    1.txt
    
    sent 116 bytes  received 38 bytes  7.51 bytes/sec
    total size is 17  speedup is 0.11
    [root@zwb_rsync html]# cd /var/www/html/
    [root@zwb_rsync html]# ls
    1.txt

验证

[root@zwb_server ceshi]# ls
    1.txt  
    [root@zwb_server ceshi]# cat 1.txt 
    this is go go go

#### 6.2、上行同步 ####

把client端文件上传到rsync服务器

在client端设置

[root@zwb_server ~]# mkdir /shangchuan
    [root@zwb_server ~]# cd //shangchuan
    [root@zwb_server shangchuan]# echo "hello worldlsls" >2.txt  ## 创建需要上行同步的文件
    
    
    
    [root@zwb_server /]# rsync -avz /shangchuan/2.txt '-e ssh -p 22' root@192.168.159.68:/var/www/html
    root@192.168.159.68's password:       ## 输入root用户的密码           
    sending incremental file list
    2.txt
    
    sent 104 bytes  received 35 bytes  10.30 bytes/sec
    total size is 16  speedup is 0.12

在rsync端验证

[root@zwb_rsync ceshi]# cd /var/www/html/
    [root@zwb_rsync html]# ls
    2.txt  
    
    [root@zwb_rsync html]# cat 2.txt 
    hello worldlsls

#### 6.3、免密登录 及删除client端和源目录不一样的文件 ####

在cliet端定义密码文件

[root@zwb_server /]# echo "abc123" > /opt/server.pass
    
    [root@zwb_server opt]# chmod 600 server.pass       ## 给与权限
    
    [root@zwb_server abc]# ls                    ## 本来在abc目录中含义1.txt
    
    1.txt
    
    
    ## 进行同步：
               ### --password-file=/opt/server.pass 免密登录，指向登录密码文件位置
               ### --delete 删除client端rsync端不同步的文件
    
    [root@zwb_server abc]# rsync -avz --delete --password-file=/opt/server.pass backuper@192.168.159.68::wwwroot /abc
    receiving incremental file list
    deleting 1.txt
    ./
    2.txt
    
    sent 46 bytes  received 127 bytes  16.48 bytes/sec
    total size is 16  speedup is 0.09
    
    
    
    [root@zwb_server abc]# ls           ## 查看，自行删除了1.txt。同步了2.txt
    2.txt

## inotify ##

## 五、inotify主要功能于优化 ##

### 1、功能： ###

它是一个内核用于通知用户空间程序文件系统变化的机制（即可以监控文件系统的变化情况，并作出通知响应）

### 2、优化：调整inotify的内核参数 ###

/etc/ sysctl.conf(内核参数配置文件)

inotifywait: \# 用于持续监控，实时输出结果  
inotifywatch: \# 用于短期监控，任务完成后再输出结果  
max\_queue\_events \# 监控事件队列大小  
max\_user\_instances \# 最多监控实例数  
max\_user\_watches \# 每个实例最多监控文件数

### 3、 inotify工作流程 ###

当A服务器的/data目录下，比如新建1.txt、删除、修改及重命名时（对象为文件或者目录），inotify监控功能发现时，B服务器的/abc目录，就会利用rsync同步工具进行同步。

### 4、inotifywait 持续性监控并实时输出监控结果的命令 ###

格式：inotifywait \[参数\]

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td>常见参数</td> 
   <td>说明</td> 
  </tr> 
  <tr> 
   <td>-m</td> 
   <td>持续进行监控</td> 
  </tr> 
  <tr> 
   <td>-r&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</td> 
   <td>递归监控所以子目录</td> 
  </tr> 
  <tr> 
   <td>-q</td> 
   <td>简化输出信息</td> 
  </tr> 
  <tr> 
   <td>-c</td> 
   <td>指定要监控哪些事件类型</td> 
  </tr> 
 </tbody> 
</table>

## 六、rsync+inotify实验 ##

![2a833615dd2c43d4942be33dd9f53436.png][]

### 1、实验配置（基于rsync实验） ###

①在rsync端的操作

[root@zwb_rsync html]# vim /etc/rsyncd.conf 
    
    uid = root
    gid = root
    use chroot = yes
    
    address = 192.168.159.68
    port 873
    
    log file = /var/log/rsyncd.log
    pid file = /var/run/rsyncd.pid
    hosts allow = 192.168.159.0/24
    [wwwroot]
    path = /var/www/html
    comment = Document Root of www.ljm.com
    read only = no                                       ##  改成no  关闭只读              
    dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z
    auth users = backuper
    secrets file = /etc/rsyncd_users.db

[root@zwb_rsync html]# kill `cat /var/run/rsyncd.pid`  ## 通过pid关闭进程
    [root@zwb_rsync html]# ss -antp | grep 873             ## 查看进程已经关闭
    [root@zwb_rsync html]# rsync --daemon                  ## 启动rsync
    [root@zwb_rsync html]# ss -antp | grep 873             ## 查看重启成功
    LISTEN     0      5      192.168.159.68:873                      *:*                   users:(("rsync",pid=13913,fd=3))

②在server端配置监控队列

[root@zwb_server ~]# vim /etc/sysctl.conf 
    
    # sysctl settings are defined through files in
    # /usr/lib/sysctl.d/, /run/sysctl.d/, and /etc/sysctl.d/.
    #
    # Vendors settings live in /usr/lib/sysctl.d/.
    # To override a whole file, create a new file with the same in
    # /etc/sysctl.d/ and put new settings there. To override
    # only specific settings, add a file with a lexically later
    # name in /etc/sysctl.d/ and put new settings there.
    #
    # For more information, see sysctl.conf(5) and sysctl.d(5).
    fs.inotify.max_queued_events = 32768       ### 表示监控事件队列
    fs.inotify.max_user_instances = 1024       ### 最多监控实例数
    fs.inotify.max_user_watches = 1048576      ### 每个实例最多监控文件数
     
    
    
    [root@zwb_server ~]# sysctl -p              ### 重新加载文件，使配置生效
    fs.inotify.max_queued_events = 32768
    fs.inotify.max_user_instances = 1024
    fs.inotify.max_user_watches = 1048576

③在server端安装 inotify-tools：主要提供`inotifywait，inotifywatch 等工具，用来监控，汇总改动情况`

[root@zwb_server ~]# yum -y install gcc gcc-c++.x86_64  ## 安装依赖环境
    [root@zwb_server inotify-tools-3.14]# yum -y install make
    
    
    [root@zwb_server ~]# cd /opt                           ## 上传文件
    [root@zwb_server opt]# ls
    rh  server.pass
    [root@zwb_server opt]# rz -E
    rz waiting to receive.
    [root@zwb_server opt]# ls
    inotify-tools-3.14.tar.gz  rh  server.pass
    
    
    [root@zwb_server opt]# tar xzvf inotify-tools-3.14.tar.gz  ## 解压
    
    
    
    [root@zwb_server inotify-tools-3.14]# ./configure    ## 初始化
    
    [root@zwb_server inotify-tools-3.14]# make && make install  ## 编译安装

### 2、实验验证 ###

[root@zwb_server ~]# inotifywait -mrq -e modify,create,move,delete /abc 
                                      ## 持续监控abc目录

### ![61cc50ee279e4260be131e11e567257d.png][] 3、**编写触发式同步脚本** ###

**脚本作用：**

`inotifywait`输出的监控结果中，每行记录中包括目录，事件，文件，可识别变动情况，只要检测到有变动时执行`rsync`上行同步操作。

**在server端编写触发同步脚本**

[root@zwb_server ~]# cd /opt
    [root@zwb_server opt]# vim chufa.sh
    
    
    #!/bin/bash
    INOTIFY_CMD="inotifywait -mrq -e modify,create,move,attrib,delete /abc/"
    RSYNC_CMD="RSYNC_CMD="rsync -apzH --delete --password-file=/opt/server.pass /abc/ backuper@192.168.159.68::wwwroot""
    $INOTIFY_CMD | while read DIRECTORY EVENT FILE
    do
            if [ $(pgrep rsync | wc -l) -le 0 ]
            then
                    $RSYNC_CMD
            fi
    done

[root@zwb_server opt]# chmod +x inotify.sh              ## 给与权限
    [root@zwb_server opt]# chmod +x /etc/rc.d/rc.local 
    [root@zwb_server opt]# echo "/opt/inotify.sh" >> /etc/rc.d/rc.local  ## 添加到开机启动
    
    
    ./inotify.sh

![d2ec415a976a403c9da585517da2a5c6.png][] 当server端的abc目录下的变动，便会同步到rsync端

[a14e0ebedf7647eea5110385f95c345e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/a8054bd39ee6410d91c189adcbc9969b.png
[2a833615dd2c43d4942be33dd9f53436.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/29b82bc5656244e19c8cb68032f030cb.png
[61cc50ee279e4260be131e11e567257d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/8ca9b4d4f4774bd7a36454ec9d6631f1.png
[d2ec415a976a403c9da585517da2a5c6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/0f50d25b42db43b288c2a56b3370ff53.png