linux：rsync远程同步

「爱情、让人受尽委屈。」 2023-01-08 02:07 92阅读 0赞

# 简介 #

Rsync 是一个远程数据同步工具，可通过 LAN/WAN 快速同步多台主机间的文件。Rsync 本来是用以取代rcp 的一个工具，它当前由 Rsync.samba.org 维护。Rsync 使用所谓的“Rsync 演算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。运行 Rsync server 的机器也叫 backup server，一个 Rsync server 可同时备份多个 client 的数据；也可以多个Rsync server 备份一个 client 的数据。

Rsync 可以搭配 rsh 或 ssh 甚至使用 daemon 模式。Rsync server 会打开一个873的服务通道（port），等待对方 Rsync 连接。连接时，Rsync server 会检查口令是否相符，若通过口令查核，则可以开始进行文件传输。第一次连通完成时，会把整份文件传输一次，下一次就只传送二个文件之间不同的部份。

> Rsync 支持大多数的类 Unix 系统，无论是 Linux、Solaris 还是 BSD 上都经过了良好的测试。此外，它在windows 平台下也有相应的版本，比较知名的有 cwRsync 和 Sync2NAS。

## 基本特点 ##

*  可以镜像保存整个目录树和文件系统；
 *  可以很容易做到保持原来文件的权限、时间、软硬链接等；
 *  无须特殊权限即可安装；
 *  优化的流程，文件传输效率高；
 *  可以使用 rcp、ssh 等方式来传输文件，当然也可以通过直接的 socket 连接；
 *  支持匿名传输

## 核心算法 ##

假定在名为 α 和 β 的两台计算机之间同步相似的文件 A 与 B，其中 α 对文件A拥有访问权，β 对文件 B 拥有访问权。并且假定主机 α 与 β 之间的网络带宽很小。那么 Rsync 算法将通过下面的五个步骤来完成：

*  β 将文件 B 分割成一组不重叠的固定大小为 S 字节的数据块。最后一块可能会比 S 小。
 *  β 对每一个分割好的数据块执行两种校验：一种是32位的滚动弱校验，另一种是128位的 MD4 强校验。
 *  β 将这些校验结果发给 α。
 *  α 通过搜索文件 A 的所有大小为 S 的数据块（偏移量可以任选，不一定非要是 S 的倍数），来寻找与文件B 的某一块有着相同的弱校验码和强校验码的数据块。这项工作可以借助滚动校验的特性很快完成。
 *  α 发给 β 一串指令来生成文件 A 在 β 上的备份。这里的每一条指令要么是对文件 B 经拥有某一个数据块而不须重传的证明，要么是一个数据块，这个数据块肯定是没有与文件 B 的任何一个数据块匹配上的。

## 工作过程 ##

*  机器A构造FileList，FileList包含了需要与机器B sync的所有文件信息对name->id,（id用来唯一表示文件例如MD5）；
 *  机器A将FileList发送到机器B；
 *  机器B上运行的后台程序处理FileList，构建NewFileList，其中根据MD5的比较来删除机器B上已经存在的文件的信息对，只保留机器B上不存在或变化的文件;
 *  机器A得到NewFileList，对NewFileList中的文件从新传输到机器B；

# 基本用法 #

## \-r 参数 ##

*  \-r表示递归，即包含子目录。如果目标文件是一个目录，-r是必须的，否则 rsync 运行不会成功

*  \-p作用是保持文件属性

如果有多个文件或目录需要同步，可以写成下面这样。

$ rsync -r 源目录1 源目录2 目标目录

## \-a 参数 ##

*  \-a参数可以替代-r，除了可以递归同步以外，还可以同步元信息（比如修改时间、权限等。其作用等于：rtopgDl 参数的合体
 *  \-v 显示传输时的进度信息
 *  \-t 保持修改时间不变
 *  \-o 保持文件属主信息不变
 *  \-g 保持文件属组信息不变
 *  如何让-o和-g生效，需要将配置文件uid和gid改为root，且fake super值改为no
 *  \-p 保持文件权限信息不变
 *  \-D 保持设备文件信息不变
 *  \-l 保持软链接文件属性不变
 *  \-P显示文件啊上传进度信息
 *  \-z 传输时压缩数据，提高传输速率

[root@backup clyu]$ rsync -av source destination
    
    #目标目录destination如果不存在，rsync 会自动创建。
    #执行上面的命令后，源目录source被完整地复制到了目标目录destination下面，即形成了destination/source的目录结构

如果只想同步源目录source里面的内容到目标目录destination，则需要在源目录后面加上斜杠。

[root@backup clyu]$  rsync -av source/  destination
    
    #source目录里面的内容，就都被复制到了destination目录里面，并不会在destination下面创建一个source子目录

## \-n 参数 ##

*  如果不确定 rsync 执行后会产生什么结果，可以先用-n或–dry-run参数模拟执行的结果。

[root@backup clyu]$ rsync -anv source/ destination
    
    # -a参数可以替代-r，除了可以递归同步以外，还可以同步元信息（比如修改时间、权限等
    #-n参数模拟命令执行的结果，并不真的执行命令。
    #-v参数则是将结果输出到终端，这样就可以看到哪些内容会被同步

## –delete 参数 ##

默认情况下，rsync 只确保源目录的所有内容（明确排除的文件除外）都复制到目标目录。它不会使两个目录保持相同，并且不会删除文件。如果要使得目标目录成为源目录的镜像副本，则必须使用–delete参数，这将删除只存在于目标目录、不存在于源目录的文件。

$ rsync -av --delete source/ destination
    上面命令中，–delete参数会使得destination成为source的一个镜像。

## –exclude 参数 ##

有时，我们希望同步时排除某些文件或目录，这时可以用–exclude参数指定排除模式。

#向服务器192.168.93.223推送数据
    [root@save clyu]# tree dog
    dog
    ├── dog1.txt
    ├── dog2.txt
    ├── dog3.txt
    └── dog4.txt
    [root@save clyu]# rsync -avz dog --exclude=dog1.txt --exclude=dog3.txt  rsync_backup@192.168.93.223::backup --password-file=/etc/rsync.password

#在192.168.93.223服务器上查看数据
    [root@backup backup]# tree dog
    dog
    ├── dog2.txt
    └── dog4.txt

# 实践 #

$ mkdir rsync 
    $ cd rsync/
    $ mkdir test1
    $ cd test1/
    $ touch 1 2 3 /home/oceanstar/123.txt
    $ ls -l
    总用量 0
    -rw-rw-r--. 1 oceanstar oceanstar 0 1月  18 16:21 1
    -rw-rw-r--. 1 oceanstar oceanstar 0 1月  18 16:21 2
    -rw-rw-r--. 1 oceanstar oceanstar 0 1月  18 16:21 3
    $ ln -s /home/oceanstar/123.txt ./123.txt
    $ ls -l
    总用量 0
    -rw-rw-r--. 1 oceanstar oceanstar  0 1月  18 16:21 1
    lrwxrwxrwx. 1 oceanstar oceanstar 23 1月  18 16:21 123.txt -> /home/oceanstar/123.txt
    -rw-rw-r--. 1 oceanstar oceanstar  0 1月  18 16:21 2
    -rw-rw-r--. 1 oceanstar oceanstar  0 1月  18 16:21 3
    test1]$ cd ..
    rsync]$ ls
    test1

## 使用-a选项 ##

rsync]$ rsync -a test1 test2
    rsync]$ ls
    test1  test2
    rsync]$ cd test2/
    test2]$ ls
    test1
    test2]$ cd test1/
    test1]$ ls
    1  123.txt  2  3

从上可以看出：rsync新建了test2目录，然后把test1放到了test2中

test1]$ cd ../../
    rsync]$ rm -rf test2/
    rsync]$ ls
    test1
    rsync]$ rsync -a test1/ test2/
    $ ls -l test2/
    总用量 0
    -rw-rw-r--. 1 oceanstar oceanstar  0 1月  18 16:21 1
    lrwxrwxrwx. 1 oceanstar oceanstar 23 1月  18 16:21 123.txt -> /home/oceanstar/123.txt
    -rw-rw-r--. 1 oceanstar oceanstar  0 1月  18 16:21 2
    -rw-rw-r--. 1 oceanstar oceanstar  0 1月  18 16:21 3

从上面可以看出：test1目录直接复制成test2目录。所以在使用rsync备份目录时，要养成加/的习惯。

## 使用-l、-L选项 ##

> \-a选项等同于-rlptgoD，且-a还可以和–no-OPTIN一并使用

rsync]$ rm test2/ -rf
    rsync]$ rsync -av --no-l test1/ test2/
    sending incremental file list
    created directory test2
    skipping non-regular file "123.txt"
    ./
    1
    2
    3
    
    sent 256 bytes  received 144 bytes  800.00 bytes/sec
    total size is 23  speedup is 0.06
    rsync]$ ls -l test2/
    总用量 0
    -rw-rw-r--. 1 oceanstar oceanstar 0 1月  18 16:21 1
    -rw-rw-r--. 1 oceanstar oceanstar 0 1月  18 16:21 2
    -rw-rw-r--. 1 oceanstar oceanstar 0 1月  18 16:21 3

如上图可见，如果不使用-l选项，系统则不会复制软链接文件。

rsync]$ rm test2/ -rf
    rsync]$ rsync -avl test1/ test2/
    sending incremental file list
    created directory test2
    ./
    1
    123.txt -> /home/oceanstar/123.txt
    2
    3
    
    sent 283 bytes  received 107 bytes  780.00 bytes/sec
    total size is 23  speedup is 0.06
    $  ls -l test2/
    总用量 0
    -rw-rw-r--. 1 oceanstar oceanstar  0 1月  18 16:21 1
    lrwxrwxrwx. 1 oceanstar oceanstar 23 1月  18 16:21 123.txt -> /home/oceanstar/123.txt
    -rw-rw-r--. 1 oceanstar oceanstar  0 1月  18 16:21 2
    -rw-rw-r--. 1 oceanstar oceanstar  0 1月  18 16:21 3

如上图可见，加-l选项就可以把源目录中的软链接复制到目的目录中。

rsync]$ rm test2/ -rf
    rsync]$ $  rsync -avL test1/ test2/
    sending incremental file list
    created directory test2
    ./
    1
    123.txt
    2
    3
    
    sent 287 bytes  received 123 bytes  820.00 bytes/sec
    total size is 0  speedup is 0.00
    
    $  ls -l test2/
    总用量 0
    -rw-rw-r--. 1 oceanstar oceanstar 0 1月  18 16:21 1
    -rw-rw-r--. 1 oceanstar oceanstar 0 1月  18 16:21 123.txt
    -rw-rw-r--. 1 oceanstar oceanstar 0 1月  18 16:21 2
    -rw-rw-r--. 1 oceanstar oceanstar 0 1月  18 16:21 3

如上图可见，加-L选项就可以把源目录中的软链接的目录文件复制到目的目录中。

## 使用-u选项 ##

先查看下test1/1和test2/1的创建时间，然后使用touch修改test2/1的创建时间，让test2/1比test1/1的创建时间晚一些。

$ ll test1/1 test2/1
    -rw-rw-r--. 1 oceanstar oceanstar 0 1月  18 16:21 test1/1
    -rw-rw-r--. 1 oceanstar oceanstar 0 1月  18 16:21 test2/1
    $ echo "hello" >> test2/1
    $ ll test1/1 test2/1
    -rw-rw-r--. 1 oceanstar oceanstar 0 1月  18 16:21 test1/1
    -rw-rw-r--. 1 oceanstar oceanstar 6 1月  18 16:38 test2/1

然后不加-u选项进行同步：

$ rsync -a test1/ test2/
    $ ll test1/1 test2/1
    -rw-rw-r--. 1 oceanstar oceanstar 0 1月  18 16:21 test1/1
    -rw-rw-r--. 1 oceanstar oceanstar 0 1月  18 16:21 test2/1

此时，test2/1的创建时间还是和test1/1是一样的。下面加上-u选项：

$ echo "hello" >> test2/1
    $ ll test1/1 test2/1
    -rw-rw-r--. 1 oceanstar oceanstar 0 1月  18 16:21 test1/1
    -rw-rw-r--. 1 oceanstar oceanstar 6 1月  18 16:40 test2/1
    $ rsync -avu test1/ test2/
    sending incremental file list
    
    sent 156 bytes  received 12 bytes  336.00 bytes/sec
    total size is 23  speedup is 0.14
    $ ll test1/1 test2/1
    -rw-rw-r--. 1 oceanstar oceanstar 0 1月  18 16:21 test1/1
    -rw-rw-r--. 1 oceanstar oceanstar 6 1月  18 16:40 test2/1

如上图可见，加上-u选项后，不会再把test1/1同步为test2/1了。

## 使用–delete选项 ##

首先删除test1/123.txt，然后把test1/目录同步到test2/目录下：

$ rm -f test1/123.txt 
    $ ls test1
    1  2  3
    $ rsync -av test1/ test2/
    sending incremental file list
    ./
    1
    
    sent 151 bytes  received 38 bytes  378.00 bytes/sec
    total size is 0  speedup is 0.00
    $ ls test2
    1  123.txt  2  3

我们会发现，test2/目录并没有删除123.txt文件。

加上–delete选项后：

$ rsync -av --delete test1/ test2/
    sending incremental file list
    deleting 123.txt
    
    sent 105 bytes  received 23 bytes  256.00 bytes/sec
    total size is 0  speedup is 0.00
    $ ls test2
    1  2  3

此时，test2/目录下的123.txt文件也被删除了。

还有一种情况，如果在目录目录中增加了文件，而源目录中没有这些文件，同步时加上–delete选项后同样会删除新增的文件：

$ touch test2/4
    $ ls test1 test2/
    test1:
    1  2  3
    
    test2/:
    1  2  3  4
    $ rsync -a --delete test1/ test2/
    $ ls test1 test2/
    test1:
    1  2  3
    
    test2/:
    1  2  3

## 使用–exclude选项 ##

$ touch test1/4 
    $ ls test1 test2/
    test1:
    1  2  3  4
    
    test2/:
    1  2  3
    $ rsync -a --exclude="4" test1/ test2/
    $ ls test1 test2/
    test1:
    1  2  3  4
    
    test2/:
    1  2  3

该选项还可以与匹配字符\*一起使用：

$ touch test1/1.txt test1/2.txt
    $ rsync -a --exclude="*.txt" test1/ test2/
    $ ls test1 test2/
    test1:
    1  1.txt  2  2.txt  3  4
    
    test2/:
    1  2  3  4

## rsync通过ssh同步 ##

rsync [选项] ... SRC [ USER@ ]HOST:DEST
    
    rsync [选项] ... [ USER@ ]HOST: SRC DEST

上面两种方式就是通过ssh的方式备份数据，通过ssh的方式，其实就是让用户登录到远程机器，然后执行rsync的任务：  
当前文件备份到目标`192.168.0.12`

$ rsync -avl test1/ 192.168.0.12:/tmp/test2/
    The authenticity of host '192.168.0.12 (192.168.0.12)' can't be established.
    ECDSA key fingerprint is SHA256:w3I2Co716Fu56XIzn6i4MoP0uaqKyhwss/hqgkXrA6E.
    ECDSA key fingerprint is MD5:ae:d7:a9:cb:42:85:03:72:1b:7b:e3:e0:a3:a0:a2:bc.
    Are you sure you want to continue connecting (yes/no)? yes
    Warning: Permanently added '192.168.0.12' (ECDSA) to the list of known hosts.
    root@192.168.0.12's password: 
    sending incremental file list
    created directory /tmp/test2
    ./
    
    sent 43 bytes  received 52 bytes  6.55 bytes/sec
    total size is 0  speedup is 0.00

$ rsync -avl 192.168.0.12:/tmp/test2/ ./test3
    root@192.168.0.12's password: 
    receiving incremental file list
    ./
    
    sent 27 bytes  received 43 bytes  10.77 bytes/sec
    total size is 0  speedup is 0.00

## rsync通过服务同步 ##

这种方式可以理解为：在远程主机上建立一个rsync的服务器，在服务器上配置好rsync的各种应用，然后将本机作为rsync的一个客户端连接远程的rsync服务器。

配置一台rsync服务器的方法：

[https://my.oschina.net/u/3992198/blog/2909945][https_my.oschina.net_u_3992198_blog_2909945]  
[https://www.oschina.net/p/rsync?hmsr=aladdin1e1][https_www.oschina.net_p_rsync_hmsr_aladdin1e1]

[https_my.oschina.net_u_3992198_blog_2909945]: https://my.oschina.net/u/3992198/blog/2909945
[https_www.oschina.net_p_rsync_hmsr_aladdin1e1]: https://www.oschina.net/p/rsync?hmsr=aladdin1e1