使用rsync实现服务器数据备份和数据自动同步

矫情吗；* 2022-01-31 06:55 1071阅读 0赞

# 一、rsync概述 #

rsync是linux系统下的数据镜像备份工具，使用快速增量备份工具remote sync可以远程同步，可以在不同主机之间进行同步，可以实现全量备份与增量备份，保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适合用于架构集中式的备份或异地备份等应用。同时rsync支持本地复制，或者与其他ssh、rsync主机同步。

# 二、rsync特性和有点 #

1）可以镜像保存整个目录树和文件系统  
2）可以很容易做到保持原来文件的权限、时间、软硬链接等等。  
3）无须特殊权限即可安装  
4）快速：第一次同步时rsync复制全部内容，但在下一次值传输修改过的内容  
5）压缩传输：rysnc在传输的过程中可以实行压缩及解压缩操作，可以使用更少的带宽  
6）安全：可以使用scp、ssh等方式来进行文件传输  
7）支持匿名传输，以方便进行网站镜像  
8）选择性保持：符号链接、硬链接、文件属性、权限、时间等

# 三、rync原理 #

1、运行模式和端口  
1）采用C/S模式（实际上是一个点到点的传输，直接使用rsync命令即可完成）  
2）rsync监听的端口是：873  
2、四个名字的解释  
1）发起端：负责发起rsync同步操作的客户端叫做发起端。通知服务器我要备份你的数据  
2）备份源：负责响应来自客户端rsync同步操作的服务器叫做备份源，需要备份的服务器  
3）服务端：运行rsyncd服务，一般来说，需要备份的服务器  
4）客户端：存放备份数据。  
3、数据同步方式  
1）推push：一台主机负责吧数据传送给其他主机，服务器开销很大，比较适合后端服务器少的情况  
2）拉pull：所有主机定时去找一台主机拉数据，可能就会导致数据缓慢  
推：目的主机配置为rsync服务器，源主机周期性的使用rysnc命令把要同步的目录推过去（需要备份的机器是客户端，存储备份的机器是服务端）  
拉：源主机配置为rysnc服务器，目的主机周期性的使用rync命令把要同步的目录拉过来（需要备份的机器是服务端，存储备份的机器是客户端）

# 四、rsync服务安装 #

1、由于rsync服务依赖xinetd服务，是使用超级服务来管理的，因此需要在目标机器上安装xined、rsync服务端  
两台服务器都需要安装：  
xuegod200是源主机；xuegod210是目标主机

> \[root@xuegod200 ~\]\# yum -y install xinetd rsync  
> \[root@xuegod210 ~\]\# yum -y install xinetd rsync  
> \[root@xuegod210 ~\]\# rsync --daemon \#启动守护进程  
> \[root@xuegod210 ~\]\# netstat -antup | grep rsync \#查看rsync端口是否监听  
> tcp 0 0 0.0.0.0:873 0.0.0.0:\* LISTEN 1706/rsync  
> tcp6 0 0 :::873 ::? LISTEN 1706/rsync

2、rsynv命令选项  
(1) -a：–archive archive mode 权限保存模式，相当于 -rlptgoD 参数，存档，递归，保持属性等。  
(2) -r：–recursive 复制所有下面的资料，递归处理。  
(3) -p：–perms 保留档案权限，文件原有属性。  
(4) -t：–times 保留时间点，文件原有时间。  
(5) -g：–group 保留原有属组。  
(6) -o：–owner 保留档案所有者(root only)。  
(7) -D：–devices 保留device资讯(root only)。  
(8) -l：–links 复制所有的连接，拷贝连接文件。  
(9) -z：–compress 压缩模式，当资料在传送到目的端进行档案压缩。  
(10) -H：–hard-links 保留硬链接文件。  
(11) -A：–acls 保留ACL属性文件，需要配合–perms。  
(12) -P：-P参数和 --partial --progress 相同，只是为了把参数简单化，表示传进度。  
(13) --version：输出rsync版本。  
(14) -v：–verbose 复杂的输出信息。  
(15) -u：–update 仅仅进行更新，也就是跳过已经存在的目标位置，并且文件时间要晚于要备份的文件，不覆盖新的文件。  
(16) --port=PORT：定义rsyncd(daemon)要运行的port(预设为tcp 873)。  
(17) --delete：删除那些目标位置有的文件而备份源没有的文件。  
(18) --password-file=FILE ：从 指定密码文件中获取密码。  
(19) --bwlimit=KBPS：限制 I/O 带宽。  
(20) --filter “-filename”：需要过滤的文件。  
(21) --exclude=filname：需要过滤的文件。  
(22) --progress：显示备份过程。  
注释：通常常用的选项 –avz  
\-z的命令一般用在小文件进行压缩，数据量比较大的文件在传输的过程中就比较慢，如果再压缩传输会更加慢。所以根据需求来选择是否需要加这个参数

# 五、使用rsynv备份数据 #

例1：对xuegod63网站根目录/var/www/html目录备份到xuegod64的/web-back  
服务器：xuegod63  
客户端：xuegod64  
步骤：  
1、建立测试用户并增加密码（两台主机都需要操作）

> \[root@xuegod200 ~\]\# useradd rget1 && echo “123456”|passwd --stdin rget1  
> \[root@xuegod210 ~\]\# useradd rget1 && echo “123456”|passwd --stdin rget1

2、创建/var/www/html目录，使用acl命令不修改原有属组和属主的情况下，给目录增加rget1的rwx

> \[root@xuegod200 ~\]\# mkdir -p /var/www/html  
> \[root@xuegod200 ~\]\# setfacl -R -m user:rget1:rwx /var/www/html  
> \[root@xuegod200 ~\]\# setfacl -R -m default:rget1:rwx /var/www/html  
> \[root@xuegod200 ~\]\# getfacl /var/www/html/

3、cp备份数据

> \[root@xuegod200 ~\]\# cp -r /boot/\* /var/www/html/  
> \[root@xuegod200~\]\# ll !$

4、到xuegod64上创建备份目录 并授权rget1用户权限

> \[root@xuegod210 ~\]\# mkdir /web-back  
> \[root@xuegod210 ~\]\# chown rget1: /web-back/  
> \[root@xuegod210 ~\]\# ll /web-back/ -d  
> drwxr-xr-x 2 rget1 rget1 6 5月 13 23:16 /web-back/

5、使用rsync命令拷贝数据  
使用rget1用户来进行拷贝

> \[root@xuegod200 ~\]\# rsync -avz /var/www/html/ rget1@xuegod210:/web-back/ \#回车后输入对端密码

6、使用虚拟用户备份数据  
1、rsync配置文件参数的详解  
注释：centos7安装命令后自动生成，centos6安装命令后需要手动创建配置文件，不会自动生成  
1）rsyncd.conf配置文件：  
配置文件分为两部分：全局参数、模块参数。  
全局参数：对rsync服务器生效，如果模块参数和全局参数冲突，冲突的地方模块参数最终生效。  
模块参数：定义需要通过rsync输出的目录定义的参数。  
2）全局参数模块：  
port \#指定后台程序使用的端口号，默认为873。  
uid \#该选项指定当该模块传输文件时守护进程应该具有的uid，配合gid选项使用可以确定哪些可以访问怎么样的文件权限，默认值是" nobody"。  
gid \#该选项指定当该模块传输文件时守护进程应该具有的gid。默认值为" nobody"。  
max connections \#指定该模块的最大并发连接数量以保护服务器，超过限制的连接请求将被告知随后再试。默认值是0，也就是没有限制。  
lock file \#指定支持max connections参数的锁文件，默认值是/var/run/rsyncd.lock。  
motd file \#" motd file"参数用来指定一个消息文件，当客户连接服务器时该文件的内容显示给客户，默认是没有motd文件的。  
log file \#" log file"指定rsync的日志文件，而不将日志发送给syslog。  
pid file \#指定rsync的pid文件，通常指定为“/var/run/rsyncd.pid”，存放进程ID的文件位置。  
hosts allow = \#单个IP地址或网络地址，允许访问的客户机地址。  
3） 常见的模块参数：  
主要是定义服务器哪个要被同步输出，其格式必须为“ \[ 共享模块名 \]” 形式，这个名字就是在 rsync 客户端看到的名字，其实很像 samba 服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的。  
|Comment| | \#给模块指定一个描述，该描述连同模块名在客户连接得到模块列表时显示给客户。默认没有描述定义。  
path \#指定该模块的供备份的目录树路径，该参数是必须指定的。  
read only \#yes为只允许下载，no为可以下载和上传文件到服务器。  
exclude \#用来指定多个由空格隔开的多个文件或目录(相对路径)，将其添加到exclude列表中。这等同于在客户端命令中使用―exclude或----filter来指定某些文件或目录不下载或上传（既不可访问）  
exclude from \#指定一个包含exclude模式的定义的文件名，服务器从该文件中读取exclude列表定义，每个文件或目录需要占用一行  
include \#用来指定不排除符合要求的文件或目录。这等同于在客户端命令中使用–include来指定模式，结合include和exclude可以定义复杂的exclude/include规则。  
include from \#指定一个包含include模式的定义的文件名，服务器从该文件中读取include列表定义。  
auth users \#该选项指定由空格或逗号分隔的用户名列表，只有这些用户才允许连接该模块。这里的用户和系统用户没有任何关系。如果" auth users"被设置，那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议。用户的名和密码以明文方式存放在" secrets file"选项指定的文件中。默认情况下无需密码就可以连接模块（也就是匿名方式）。  
secrets file \#该选项指定一个包含定义用户名:密码对的文件。只有在" auth users"被定义时，该文件才有作用。文件每行包含一个username:passwd对。一般来说密码最好不要超过8个字符。没有默认的secures file名，注意：该文件的权限一定要是600，否则客户端将不能连接服务器。  
hosts allow \#指定哪些IP的客户允许连接该模块。定义可以是以下形式：  
单个IP地址，例如：192.167.0.1，多个IP或网段需要用空格隔开。  
整个网段，例如：192.168.0.0/24，也可以书写为192.168.0.0/255.255.255.0  
“\*”则表示所有，默认是允许所有主机连接。  
hosts deny \#指定不允许连接rsync服务器的机器，可以使用hosts allow的定义方式来进行定义。默认是没有hosts deny定义。  
list \#该选项设定当客户请求可以使用的模块列表时，该模块是否应该被列出。如果设置该选项为false，可以创建隐藏的模块。默认值是true。  
timeout \#通过该选项可以覆盖客户指定的IP超时时间。通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端。超时单位为秒钟，0表示没有超时定义，这也是默认值。对于匿名rsync服务器来说，一个理想的数字是600

2、例：用配置文件定义目录输出  
1）修改rsync配置文件

> \[root@xuegod210 etc\]\# cat rsyncd.conf | grep -v “$|\#”  
> uid = root \#运行进程的身份  
> gid = root \#运行进程的组  
> address =192.168.11.210 \#监听的IP地址，本服务器的IP地址，写错会无法启动rsync服务  
> port =873 \#监听端口  
> hosts allow =192.168.11.0/24 \#白名单，允许同步的客户端的IP地址，可是网段或IP地址，\*表示所有IP  
> use chroot = yes \#是否锁定家目录，锁定后，无法修改其它目录  
> max connections =5 \#最大链接数  
> pid file =/var/run/rsyncd.pid \#进程PID文件，自动生成  
> lock file =/var/run/rsync.lock \#max connections参数的锁文件  
> log file =/var/log/rsyncd.log \#rsync的日志文件位置  
> motd file =/etc/rsyncd.motd \#登录提示信息，需要手动创建  
> \[wwwroot\] \#共享模块名称  
> path =/web-back/ \#路径，存放的路径  
> comment = used for web-data root \#描述信息  
> read only = false \#设置服务端文件的读写权限  
> list = yes \#是否允许查看模块信息  
> auth users = rsyncuser \#虚拟用户  
> secrets file =/etc/rsync.passwd \#密码文件，需要手动创建。格式：用户名：密码

2）创建相关文件并修改文件权限  
创建提示信息文件

> \[root@xuegod210 etc\]\# echo “Welcome to Backup Server” >  
> /etc/rsyncd.motd  
> \[root@xuegod210 ~\]\# chmod 600 /etc/rsyncd.motd  
> 创建密码文件  
> \[root@xuegod210 etc\]\# echo “rsyncuser:password123” > /etc/rsync.passwd  
> \[root@xuegod210 ~\]\# chmod 600 /etc/rsync.passwd \#修改密码文件的权限

3）启动服务（启动rsync和xinetd服务）

> \[root@xuegod210 etc\]\# systemctl start xinetd  
> \[root@xuegod210 etc\]\# systemctl enable xinetd  
> \[root@xuegod210 etc\]\# rsync --daemon --config=/etc/rsyncd.conf \#加载配置文件  
> \[root@xuegod210 etc\]\# !nets  
> netstat -antup | grep rsync  
> tcp 0 0 0.0.0.0:873 0.0.0.0:\* LISTEN 1706/rsync

4）测试  
语法：rsync 选项 用户名@备份源服务器ip::共享模块名 目标目录

>     [root@xuegod200 ~]# rsync -avz /var/www/html/ rsyncuser@xuegod210::wwwroot

1.  密码处理  
    新建一个文件保存好密码，然后在rsync命令中使用–password-file指定次文件即可

> \[root@xuegod200 ~\]\# echo “password123” >> /root/passwd  
> \[root@xuegod200 ~\]\# chmod 600 passwd  
> \[root@xuegod200 ~\]\# rsync -avz /var/www/html/ rsyncuser@xuegod210::wwwroot --password-file=/root/passwd \#指定文件

6）脚本实现定时自动备份

> \[root@xuegod200 ~\]\# vim [autobackup.sh][] \#编写脚本。  
> \#!/bin/bash  
> rsync -avz /var/www/html [rsyncuser@192.168.0.64][rsyncuser_192.168.0.64]::wwwroot – password-file=/etc/rsync.passwd

7）定义计划任务实现定时备份

> \[root@xuegod63 ~\]\# echo “01 3 \* \* \* sh /root/autoback.sh &” >> /var/spool/cron/root

注释：  
1、address监听的地址，必须是rsync服务端的地址  
2、创建的密码文件和登录提示文件的权限必须修改为600，不然执行rsync命令会报错

# 六、rsync+sersync实现数据实时同步 #

一台装sersync、一台装rsync服务  
sersync服务器（数据源、源主机）：192.168.11.200  
sysnc客户端（备份端、目标机器）：192。168.11.210  
1、安装sersync安装包（上传rpm包到服务器，然后进行解压缩）

> \[root@xuegod200 opt\]\# tar xf  
> sersync2.5.4\_64bit\_binary\_stable\_final.tar.gz  
> \[root@xuegod200 opt\]\# mv GNU-Linux-x86/ sersync \#改一个容易记得名字  
> \[root@xuegod200 opt\]\# ls  
> rh sersync sersync2.5.4\_64bit\_binary\_stable\_final.tar.gz

注意：sersync是一个二进制安装包，不需要进行安装，直接tar解压后，可以直接使用

> \[root@xuegod200 opt\]\# cd rsync/  
> \[root@xuegod200 sersync\]\# ls \#这两个文件都是可执行文件  
> confxml.xml sersync2

2、配置sersync

> \[root@xuegod200 sersync\]\# cp confxml.xml confxml.xml.bak \#修改配置前，先备份

2.1 修改配置文件中的24–28行，如下所示。

> \[root@xuegod200 sersync\]\# vim confxml.xml  
> <sersync>  
> <localpath watch="/var/www/html"> \#本地同步数据目录。  
> <remote ip=“192.168.11.210” name=“wwwroot”/> \#rsync模块名称

2.2 修改31–34行，认证部分（rsync密码认证）

> <rsync>  
> <commonParams params="-artuz"/>  
> <auth start=“true” users=“rsyncuser” passwordfile="/etc/rsync.passwd"/>  
> <userDefinedPort start=“false” port=“874”/>  
> <timeout start=“false” time=“100”/>  
> <ssh start=“false”/>

2.3 在服务端创建一个密码文件，因为配置文件需要调用密码文件
     [root@xuegod130 html]# echo passwd123 > /etc/rsync.passwd
     [root@xuegod130 html]# chmod 600 /etc/rsync.passwd

2.4 开启serysnc守护进程同步数据

> \[root@xuegod200 sersync\]\# /opt/sersync/sersync2 -d -r -o  
> /opt/sersync/confxml.xml

3、测试  
在200的/var/www/html目录下增加、删除或修改目录文件，查看210的/web-back/目录的变化

> \[root@xuegod210 web-back\]\# watch ls -l

4、设置sersync监控开机自动执行

> \[root@xuegod200 ~\]\# vim /etc/rc.d/rc.local  
> \[root@xuegod200 ~\]\# tail -1 !$  
> tail -1 /etc/rc.d/rc.local  
> /opt/sersync/sersync2 -d -r -o /opt/sersync/confxml.xml

5、添加脚本监控sersync是否正常运行

> \[root@xuegod200 ~\]\# vim /opt/check\_sersync.sh  
> \[root@xuegod200 ~\]\# cat !$  
> cat /opt/check\_sersync.sh  
> \#!/bin/bash  
> sersync="/opt/sersync/sersync2"  
> confxml="/opt/sersync/confxml.xml"  
> status=$(ps aux|grep ‘sersync2’|grep -v ‘grep’|wc -l)  
> if \[ $status -eq 0 \];then  
> $sersync -d -r -o $confxml &  
> else  
> exit 0  
> fi

6、将脚本添加到定时任务，定义检查sersync是否正常

> \[root@xuegod200 ~\]\# crontab -e  
> no crontab for root - using an empty one  
> crontab: installing new crontab  
> \[root@xuegod200 ~\]\# crontab -l  
> 0 12 \* \* \* sh /opt/check\_sersync.sh

[autobackup.sh]: http://autobackup.sh
[rsyncuser_192.168.0.64]: mailto:rsyncuser@192.168.0.64