Redis开发与运维总结（一）

一时失言乱红尘 2023-05-31 15:29 4阅读 0赞

一、持久化

二、复制

三、阻塞情况

四、内存管理

五、Redis Cluster

5.1、数据分布理论

5.2、Redis数据分区

5.3、通信流程

5.3.1、Gossip消息

5.3.2、节点选择

5.4、请求路由

5.4.1、计算槽

5.4.2、槽节点查找

5.5、Smart客户端

5.5.1、smart客户端原理

5.5.2、Smart客户端—JedisCluster

5.6、ASK重定向

5.6.1、客户端ASK重定向流程

5.7、故障发现

5.7.1、主观下线

5.7.2、客观下线

5.8、总结

一、持久化

1） Redis提供了两种持久化方式： RDB和AOF。

2） RDB使用一次性生成内存快照的方式， 产生的文件紧凑压缩比更高， 因此读取RDB恢复速度更快。 由于每次生成RDB开销较大， 无法做到实时持久化， 一般用于数据冷备和复制传输。

3） save命令会阻塞主线程不建议使用， bgsave命令通过fork操作创建子进程生成RDB避免阻塞。

4） AOF通过追加写命令到文件实现持久化， 通过appendfsync参数可以控制实时/秒级持久化。 因为需要不断追加写命令， 所以AOF文件体积逐渐变大， 需要定期执行重写操作来降低文件体积。

5） AOF重写可以通过auto-aof-rewrite-min-size和auto-aof-rewritepercentage参数控制自动触发， 也可以使用bgrewriteaof命令手动触发。

6） 子进程执行期间使用copy-on-write机制与父进程共享内存， 避免内存消耗翻倍。 AOF重写期间还需要维护重写缓冲区， 保存新的写入命令避免数据丢失。

7） 持久化阻塞主线程场景有： fork阻塞和AOF追加阻塞。 fork阻塞时间跟内存量和系统有关， AOF追加阻塞说明硬盘资源紧张。

8） 单机下部署多个实例时， 为了防止出现多个子进程执行重写操作，建议做隔离控制， 避免CPU和IO资源竞争。

二、复制

1） Redis通过复制功能实现主节点的多个副本。 从节点可灵活地通过slaveof命令建立或断开复制流程。

2） 复制支持树状结构， 从节点可以复制另一个从节点， 实现一层层向下的复制流。 Redis2.8之后复制的流程分为： 全量复制和部分复制。 全量复制需要同步全部主节点的数据集， 大量消耗机器和网络资源。 而部分复制有效减少因网络异常等原因造成的不必要全量复制情况。 通过配置合理的复制积压缓冲区尽量避免全量复制。

3） 主从节点之间维护心跳和偏移量检查机制， 保证主从节点通信正常和数据一致。

4） Redis为了保证高性能复制过程是异步的， 写命令处理完后直接返回给客户端， 不等待从节点复制完成。 因此从节点数据集会有延迟情况。

5） 当使用从节点用于读写分离时会存在数据延迟、 过期数据、 从节点可用性等问题， 需要根据自身业务提前作出规避。

6） 在运维过程中， 主节点存在多个从节点或者一台机器上部署大量主节点的情况下， 会有复制风暴的风险。

三、阻塞情况

1） 客户端最先感知阻塞等Redis超时行为， 加入日志监控报警工具可快速定位阻塞问题， 同时需要对Redis进程和机器做全面监控。

2） 阻塞的内在原因： 确认主线程是否存在阻塞， 检查慢查询等信息，发现不合理使用API或数据结构的情况， 如keys、 sort、 hgetall等。 关注CPU使用率防止单核跑满。 当硬盘IO资源紧张时， AOF追加也会阻塞主线程。

3） 阻塞的外在原因： 从CPU竞争、 内存交换、 网络问题等方面入手排查是否因为系统层面问题引起阻塞。

四、内存管理

1） Redis实际内存消耗主要包括： 键值对象、 缓冲区内存、 内存碎片。

2） 通过调整maxmemory控制Redis最大可用内存。 当内存使用超出时，根据maxmemory-policy控制内存回收策略。

3） 内存是相对宝贵的资源， 通过合理的优化可以有效地降低内存的使用量， 内存优化的思路包括：

*  精简键值对大小， 键值字面量精简， 使用高效二进制序列化工具。
 *  使用对象共享池优化小整数对象。
 *  数据优先使用整数， 比字符串类型更节省空间。
 *  优化字符串使用， 避免预分配造成的内存浪费。
 *  使用ziplist压缩编码优化hash、 list等结构， 注重效率和空间的平衡。
 *  使用intset编码优化整数集合。
 *  使用ziplist编码的hash结构降低小对象链规模。

发表评论取消回复

表情：

评论列表（有 0 条评论，4人围观）

还没有评论，来说两句吧...

相关阅读

相关 Redis开发与运维总结（一）

一、持久化二、复制三、阻塞情况四、内存管理五、Redis Cluster 5.1、数据分布理论 5.2、Redis数据分区

一时失言乱红尘/ 2023年05月31日 15:29/ 0 赞/ 5 阅读

相关 redis 运维，开发，测试一站式齐全

redis 一站式齐全守护进程（后台启动）守护线程，使用 daemon 表示，redis的配置文件也是如此，daemonize 表示是否开启守护线程。

╰半橙微兮°/ 2023年05月30日 08:47/ 0 赞/ 17 阅读

相关【Redis运维篇】Redis的安装与配置

Redis的几种安装方式（Linux） yum和rpm yum本质上是下载rpm包到当前机器，并安装。因此两种安装方式有相同的特点：都会自动添加环境变量，

深藏阁楼爱情的钟/ 2022年12月15日 02:50/ 0 赞/ 160 阅读

相关《Linux运维总结：SVN运维指南流程图》

说明：主要介绍svn在运维中的部署、迁移、备份、高可用、优化等内容，真实可靠，内容优质！高清pdf请下载：[《Linux运维总结：SVN运维指南流程图》][Linux_SV

女爷i/ 2022年11月12日 09:51/ 0 赞/ 283 阅读

相关 Zookeeper运维总结

zookeeper VIRT虚拟内存占用过大的问题：这个和zookeeper的实现有关，参考这里：http://zookeeper-user.578899.n2

迷南。/ 2022年06月08日 06:52/ 0 赞/ 321 阅读

相关开发运维一体化

今天我们大家一起来回顾一下，企业应用的开发运维模式是怎么个样子？无论是基于应用开发平台开发好的业务应用（一般为java类应用，程序war包的形式），亦或是基于服务治理平台开

蔚落/ 2022年05月24日 05:49/ 0 赞/ 236 阅读

相关《Redis开发与运维》- API的使用-3-键管理

《Redis开发与运维》- API的使用-3-键管理键管理单个键的命令，如type,del,object,exists,expire等 1：键重命名 r

谁践踏了优雅/ 2022年05月14日 15:46/ 0 赞/ 124 阅读

相关《Redis开发与运维》- API的使用-1-全局命令

Redis API的使用 1. 全局命令 1.1查看所有键：keys \ 1.2键总数：dbsize 【dbsize】命令在计算总数时不会遍历所有的键，而是直

喜欢ヅ旅行/ 2022年05月11日 14:58/ 0 赞/ 154 阅读

相关 redis 运维手册

redis cli命令 - milkty - 博客园 https://www.cnblogs.com/kongzhongqijing/p/6867960.html Red

Love The Way You Lie/ 2022年03月29日 03:44/ 0 赞/ 242 阅读

相关 redis 运维

-------------------- redis 运维 -------------------- 1.连接redis集群 redis-cli -c -a

淡淡的烟草味﹌/ 2022年03月09日 11:59/ 0 赞/ 341 阅读