redis：主从复制原理

深碍√TFBOYSˉ_ 2022-09-15 12:30 284阅读 0赞

复制过程

在从节点执行slaveof命令后，复制过程就开始运作，其复制流程如下图所示
在这里插入图片描述

从上图可以看出可以分为6个过程

保存主节点（master）信息

执行slaveof后从节点只保存主节点的地址信息便直接返回，这是建立复制的流程还没有开始。

  • 在从节点6380执行info replication可以看到如下信息

    master_host:127.0.0.1
    master_port:6379
    master_link_status:down

  • 从统计信息可以看出，主节点的ip和port被保存下来，但是主节点的连接状态(master_link_status)是下线状态。执行slaveof后redis会打印如下日志

    SLAVE OF 127.0.0.1:6379 enabled (user request from ‘id=65 addr=127.0.0.1:58090
    fd=5 name= age=11 idle=0 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=
    32768 obl=0 oll=0 omem=0 events=r cmd=slaveof’)

从节点建立socket连接

从节点(slave)内部通过每秒运行的定时任务维护复制相关逻辑，当定时任务发现存在新的主节点之后，会尝试与该节点建立网络连接，如下图：
在这里插入图片描述

  • 从节点会建立一个socket套接字，专门用于接受主节点发生的复制命令。如上图从节点建立了一个端口为24555的套接字，从节点连接成功之后将会打印如下日志：

    Connecting to MASTER 127.0.0.1:6379

    • MASTER <-> SLAVE sync started

    这部分是自己测试的日志，请忽略

    21609:S 08 May 2020 08:37:59.191 Connecting to MASTER 192.168.179.103:6379
    21609:S 08 May 2020 08:37:59.192     MASTER <-> REPLICA sync started

  • 如果从节点无法建立连接，定时任务会无限重试直到连接成功或者执行slave on one取消复制

    • 此时，可以在从节点执行info replication查询master_link_down_since_seconds指标，它会记录与主节点连接失败的系统时间

在这里插入图片描述

  1. #自己测试，将主节点网络关闭，查看从节点信息
  2. [root@localhost ~]# /usr/local/redis/bin/redis-cli info replication | grep master
  3. master_host:192.168.179.103
  4. master_port:6379
  5. master_link_status:down
  6. master_last_io_seconds_ago:-1
  7. master_sync_in_progress:0
  8. master_link_down_since_seconds:80   --可以看到和主节点断开80S了
  9. master_replid:dbddc80fe41195ca35706a8a7bb396cde1bf1753
  10. master_replid2:0000000000000000000000000000000000000000

从节点连接主节点失败时也会每秒打印如下日志， 方便运维人员发现问题：

  1. # Error condition on socket for SYNC: {socket_error_reason}
  4. #自己测试请忽略
  5. 21609:S 08 May 2020 09:17:13.442 * MASTER <-> REPLICA sync started
  6. 21609:S 08 May 2020 09:17:16.341 # Error condition on socket for SYNC: No route to host
  7. 21609:S 08 May 2020 09:17:16.499 * Connecting to MASTER 192.168.179.103:6379
  8. 21609:S 08 May 2020 09:17:16.500 * MASTER <-> REPLICA sync started

发送ping命令

连接建立成功后从节点发送ping请求进行首次通信。ping请求主要目的如下：

  • 检测主从节点之间网络套接字是否可用
  • 检测主节点当前是否可以接收处理命令

如果发送ping命令后，从节点没有收到主节点的pong回复或者超时，比如网络超时或者主节点正在阻塞无法响应命令，从节点会断开复制连接，下次定时任务会发起重连

在这里插入图片描述

从节点发送的ping命令成功返回， Redis打印如下日志， 并继续后续复制流程：

  1. Master replied to PING, replication can continue...

权限验证

如果主节点设置了requirepass参数，需要密码验证，从节点必须配置masterauth参数保证与主节点相同的密码才能通过验证。如果验证失败复制将终止，从节点重新发起复制流程

同步数据集

主从复制连接正常通信后，对于首次建立复制的场景，主节点会把持有的数据全部发送给从节点，这部分操作是耗时最长的步骤。

redis在2.8版本之后采用新复制命令psync进行复制同步，原来的sync命令依然支持，保证新旧版本的兼容性。新版同步分为两种情况：全量同步和部分同步

命令持续复制

当主节点把当前的数据同步给从节点后，就完成了复制的建立流程。接下来主节点会持续的把写命令发送给从节点，保证主从复制的一致性

数据同步

redis在2.8以及以上版本使用psync命令完成主从数据同步，同步过程分为：全量复制和部分复制

全量复制

  • 一般用于初次复制场景
  • redis早期支持的复制功能的只有全量复制
  • 它会把主节点全部数据一次性发送给从节点，当数据量较大时，会对主从节点和网络造成很大的开销

部分复制

  • 用于处理在主从复制中因网络闪断等原因造成的数据丢失场景，当从节点再次连上主节点之后，如果条件允许，主节点会补发丢失数据给从节点。
  • 为补发的数据远远小于全量数据，可以有效避免全量复制的过高开销。

注意：部分复制是对老版复制的重大优化， 有效避免了不必要的全量复制操作。 因此当使用复制功能时， 尽量采用2.8以上版本的Redis。

psync命令运行需要以下组件支持：

  • 主从节点各自复制偏移量
  • 主节点复制积压缓冲区
  • 主节点运行id

复制偏移量

参与复制的主从节点都会维护自身复制偏移量。

  • 主节点(master)在处理完写入命令后，会把命令的字节长度做累加记录，统计信息会在info replication 中的master_repl_offset指标中

    127.0.0.1:6379> info replication

    Replication

    role:master
    connected_slaves:1
    slave0:ip=127.0.0.1,port=6380,state=online,offset=2478,lag=0
    ………………………………………….
    master_repl_offset:2478 //——

  • 从节点(slave)每秒钟上报自身的复制偏移量给主节点，主节点也会保存从节点的复制偏移量，统计指标如下：

    127.0.0.1:6379> info replication

    Replication

    role:master
    connected_slaves:1
    slave0:ip=127.0.0.1,port=6380,state=online,offset=2478,lag=0 —偏移量2478
    ……………………………………………

  • 从节点在接收到主节点发送的命令后， 也会累加记录自身的偏移量。 统计信息在info relication中的slave_repl_offset指标中：

    127.0.0.1:6380> info replication

    Replication

    role:slave
    master_host:127.0.0.1
    master_port:6379
    master_link_status:up
    ………………………………………..
    slave_repl_offset:2674

复制偏移量的维护如图所示。

在这里插入图片描述

通过对比主从节点的复制偏移量， 可以判断主从节点数据是否一致。

  • 可以通过主节点的统计信息， 计算出master_repl_offset - slave_offset字节量， 判断主从节点复制相差的数据量， 根据这个差值判定当前复制的健康度。
  • 如果主从之间复制偏移量相差较大， 则可能是网络延迟或命令阻塞等原因引起。

复制积压缓冲区

复制积压缓冲区是保存在主节点上的一个固定长度的队列，默认大小为1MB

  • 当主节点有连接的从节点(slave)时被创建，这时主节点(master)响应写命令时，不但会把命令发送给从节点，还会写入复制积压缓冲区。如下图：
    在这里插入图片描述
  • 由于缓冲区本质上是先入先出的定长队列，所以能实现保存最近已复制数据的功能，用于部分复制和复制命令丢失的数据补救。

复制缓冲区相关统计信息保存在主节点的info replication中：

  1. 127.0.0.1:6379> info replication
  2. # Replication
  3. role:master
  4. ...
  5. repl_backlog_active:1 // 开启复制缓冲区
  6. repl_backlog_size:1048576 // 缓冲区最大长度
  7. repl_backlog_first_byte_offset:7479 // 起始偏移量， 计算当前缓冲区可用范围
  8. repl_backlog_histlen:1048576 // 已保存数据的有效长度。

根据统计指标， 可算出复制积压缓冲区内的可用偏移量范围

主节点运行ID

每个redis节点启动后都会动态分配一个40位的十六进制字符串作为运行ID。

  • 运行ID的唯一作用是用来唯一识别redis节点，比如从节点保存主节点的运行ID识别自己正在复制的是哪个主节点。
  • 如果只使用ip+port的方式识别主节点，那么主节点重启变更了整体数据集(比如替换RDB/AOF文件)，从节点再基于偏移量复制数据将是不安全的
  • 因此当运行ID变化后从节点将做全量复制

可以运行info server命令查看当前节点的运行ID：

  1. 127.0.0.1:6379> info server
  2. # Server
  3. redis_version:3.0.7
  4. ...
  5. run_id:545f7c76183d0798a327591395b030000ee6def9

需要注意的是Redis关闭再启动后， 运行ID会随之改变， 例如执行如下命令：

  1. # redis-cli -p 6379 info server | grep run_id
  2. run_id:545f7c76183d0798a327591395b030000ee6def9
  3. # redis-cli -p shutdown
  4. # redis-server redis-6379.conf
  5. # redis-cli -p 6379 info server | grep run_id
  6. run_id:2b2ec5f49f752f35c2b2da4d05775b5b3aaa57ca

如何在不改变运行ID的情况下重启呢？

  • 当需要调优一些内存相关配置， 例如： hash-max-ziplist-value等
  • 这些配置需要Redis重新加载才能优化已存在的数据
  • 这时可以使用debug reload命令重新加载RDB并保持运行ID不变， 从而有效避免不必要的全量复制。

命令如下：

  1. # redis-cli -p 6379 info server | grep run_id
  2. run_id:2b2ec5f49f752f35c2b2da4d05775b5b3aaa57ca
  3. # redis-cli debug reload
  4. OK
  5. # redis-cli -p 6379 info server | grep run_id
  6. run_id:2b2ec5f49f752f35c2b2da4d05775b5b3aaa57ca

注意：

  • debug reload命令会阻塞当前redis节点主线程，阻塞期间会生成本地RDB快照并清空数据之后再加载RDB文件
  • 因此对于大数据量的主节点和无法容忍阻塞的应用场景，谨慎使用

psync命令

从节点使用PSYNC <MASTER_RUN_ID> <OFFSET>命令完成部分复制和全量复制功能：

  • MASTER_RUN_ID：从节点所复制主节点的运行id
  • OFFSET：当前从节点已复制的数据偏移量。

运行流程：

  • 从节点（slave） 发送psync命令给主节点， 参数runId是当前从节点保存的主节点运行ID， 如果没有则默认值为?， 参数offset是当前从节点保存的复制偏移量， 如果是第一次参与复制则默认值为-1。

  • 主节点（master） 根据psync参数和自身数据情况决定响应结果：

    • ·如果回复+FULLRESYNC{runId}{offset}， 那么从节点将触发全量复制流程
    • ·如果回复+CONTINUE， 从节点将触发部分复制流程
    • 如果回复+ERR， 说明主节点版本低于Redis2.8， 无法识别psync命令，从节点将发送旧版的sync命令触发全量复制流程。

对应日志如下：

  1. Connecting to MASTER 192.168.75.136:6379
  2. MASTER <-> REPLICA sync started
  3. Non blocking connect for SYNC fired the event.  --开始非阻塞同步
  4. Master replied to PING, replication can continue...
  5. Partial resynchronization not possible (no cached master)
  6. Full resync from master: 74fb29643971834fdf701beb1708ce9ddc23bdee:0  --全量同步
  7. MASTER <-> REPLICA sync: receiving 193 bytes from master --接受数据
  8. MASTER <-> REPLICA sync: Flushing old data  --清空以前缓存得数据
  9. MASTER <-> REPLICA sync: Loading DB in memory  --加载数据库到内存
  10. MASTER <-> REPLICA sync: Finished with success  --完成同步

在这里插入图片描述

全量复制

全量复制完整流程如下图：

  1. 从节点内部会发送psync命令进行数据同步。由于是第一次复制，从节点没有复制偏移量和主节点的运行ID，所以发送pynsc -1
  2. 主节点根据psync -1解析出当前为全量复制，因此回复+FULLRESYNC响应

  3. 主节点接收主节点的响应数据保存运行ID和偏移量offset，执行到当前步骤时从节点打印如下日志：

    Partial resynchronization not possible (no cached master)
    Full resync from master: 92d1cb14ff7ba97816216f7beb839efe036775b2:216789

  4. 主节点执行bgsave保存RDB文件到本地，主节点bgsave相关日志如下：

    M Full resync requested by slave 127.0.0.1:6380
    M     Starting BGSAVE for SYNC with target: disk
    C Background saving started by pid 32618
    C     RDB: 0 MB of memory used by copy-on-write
    M * Background saving terminated with success

提示：Redis 3.0之后在输出的日志开头会有MSC等标识，对应的含义是：

  • M=当前为主节点日志
  • S=当前为从节点日志
  • C=子进程日志。

在这里插入图片描述

  1. 主节点发送RDB文件给从节点，从节点把接收到的RDB文件保存在本地并直接作为从节点的数据文件。接收完RDB后从节点可以在日志中查看主节点发送的数据量

    16:24:03.057 * MASTER <-> SLAVE sync: receiving 24777842 bytes from master

主语：

  • 对于数据量大的主节点，比如生成的RDB文件超过6GB以上传输文件这一步操作非常耗时，速度取决于主从节点之间的网络带宽
  • 针对数据量较大的节点，建议调大repl-timeout参数防止出现全量同步数据超时。

另外：

  • 为了降低主节点的磁盘开销，redis支持无盘复制，生成的RDB文件不保存到硬盘而是直接通过网络发送给从节点，通过repl-diskless-sync参数控制，默认关闭。
  • 无盘复制适用于主节点所在机器磁盘性能较差但网络带宽较充裕的场景。
  • 注意无盘复制目前依然处于试验阶段。

  1. 对于从节点开始接收RDB快照到接收完成期间，主节点仍然响应读写命令，因此主节点会把这期间写命令数据保存到复制客户端缓冲区内，当从节点加载完RDB之后，主节点再把缓冲区内的数据发送给从节点，保证主从之间数据一致性。

    • 如果主节点创建和传输RDB的时间过长，对于高流量写入场景非常容易造成主节点复制客户端缓冲区溢出。
    • 默认配置为client-output-buffer-limit slave 256MB 64MB 60。
    • 如果60秒内缓冲区消耗持续大于64MB或者直接超过356MB时，主节点将直接关闭复制客户端连接，造成全量同步失败，日志如下：

    M 27 May 12:13:33.669 # Client id=2 addr=127.0.0.1:24555 age=1 idle=1 flags=S
    qbuf=0 qbuf-free=0 obl=18824 oll=21382 omem=268442640 events=r cmd=psync
    scheduled to be closed ASAP for overcoming of output buffer limits.

    • 因此需要根据主节点数据量和写命令并发量调整client-output-buffer-limit slave配置，避免全量复制期间客户端缓冲区溢出。

  2. 从节点接收完主节点传送过来的数据之后清空自身旧数据，对应日志如下：

    16:24:02.234 * MASTER <-> SLAVE sync: Flushing old data

  3. 从节点清空数据后开始加载RDB文件

  4. 从节点成功加载完RDB数据后，如果开启了AOF功能它会立即做bgrewriteof操作，从而保证全量复制后AOF持久化文件立刻可用。

从上可以看出，全量复制过程中将进行多次持久化和网络数据传输，这期间会消耗大量的主从节点所在服务器的CPU、内存、网络资源，因此除了第一次复制时必须采用全量复制外，我们应该尽量避免全量复制的发生。正因为全量复制的成本问题，redis实现了部分复制功能

部分复制

部分复制主要是Redis针对全量复制的过高开销做出的一种优化措施，使用psync {runid} {offset}命令实现。
　- 当从节点正在复制主节点时，如果出现网络闪断或者命令丢失等异常情况时，从节点会向主节点要求补发丢失的命令数据

  • 如果主节点的复制积压缓冲区内存在这部分数据则直接发送给从节点，这样就可以保持主从节点复制的一致性。

过程如下：

  • 当主从节点之间网络出现中断时，如果超过repl-timeout时间，主节点会认为从节点故障并中断复制连接。
  • 主从连接中断期间主节点依然响应命令并且保存在主节点的复制积压缓冲区中，但因复制连接中断命令无法发送给从节点。
  • 当主从节点网络恢复后，从节点会再次连上主节点。
  • 当主从连接恢复后，由于从节点之前保存了自身已复制的偏移量和主节点的运行ID。因此会把它们当作psync参数发送给主节点，要求进行部分复制操作。
  • 主节点接到psync命令后首先核对参数runId是否与自身一致，如果一致，说明之前复制的是当前主节点；之后根据参数offset在自身复制积压缓冲区查找，如果偏移量之后的数据存在缓冲区中，则对从节点发送+CONTINUE响应，表示可以进行部分复制。
  • 主节点根据偏移量把复制积压缓冲区里的数据发送给从节点，保证主从复制进入正常状态。
    在这里插入图片描述

心跳

主从节点在建立复制之后，他们之间维护着长连接，并且彼此发送心跳命令。如下图：
在这里插入图片描述
主从心跳判断机制：

  • 主从节点彼此都有心跳检测机制，各自模拟成对方的客户端急性通信，通过client list命令查看复制相关客户端信息，主节点的连接状态为flag=M。从节点的连接状态是flags=S
  • 主节点默认每隔10s对从节点发送ping命令，判断丛节点的存活状态和连接状态，可以通过修改配置 repl-ping-slave-period 控制发送频率.

  • 从节点在主线程中每隔1秒发送replconf ack{offset}命令，给主节点上报自身当前的复制偏移量。replconf命令主要作用如下：

    • 实时监测主从节点网络状态
    • 上报自身复制偏移量，检查复制数据是否丢失，如果从节点数据丢失，再从主节点的复制缓冲区中拉取丢失数据
    • 实现保证从节点的数量和延迟性功能，通过min-slaves-to-write、min-slaves-max-lag参数配置定义。

发表评论

表情：
评论列表 （有 0 条评论，284人围观）

还没有评论，来说两句吧...

相关阅读

    相关 Redis主从复制原理

    和Mysql主从复制的原因一样，Redis虽然读取写入的速度都特别快，但是也会产生读压力特别大的情况。为了分担读压力，Redis支持主从复制，Redis的主从结构可以采用一主多

    超、凢脫俗超、凢脫俗/ 0 赞/ 201 阅读

    相关 Redis的主从复制原理

    和MySQL主从复制的原因一样，Redis虽然读取写入的速度都特别快，但是也会产生读压力特别大的情况。为了分担读压力，Redis支持主从复制，Redis的主从结构可以采用一主多

    墨蓝墨蓝/ 0 赞/ 264 阅读

    相关 Redis主从复制原理

    和[MySQL][]主从复制的原因一样，[Redis][]虽然读取写入的速度都特别快，但是也会产生读压力特别大的情况。为了分担读压力，Redis支持主从复制，Redis的主从结

    ╰半夏微凉°╰半夏微凉°/ 0 赞/ 320 阅读