Redis 内存优化

末蓝、 2022-08-07 12:34 197阅读 0赞

Redis内部有很多的数据类型，这些在官方文档上都可以看到，下面是其内部优化的一些细节点：

1. String 和 数字，在Redis中如果存储的是“123”Redis是能够识别出来这是一个数字并且按照数字来存储，节省存储空间，当然除了这个优化之外，Redis内部会构建一个数字池，默认是10000，那么如果是在这个池子的数字就只需要用一个简单的索引来引用进来就可以，而不需要把重复的数字都分开存储。这个数值可以调整源代码的宏：REDIS\_SHARED\_INTEGERS来扩大和缩小池子的大小。

2.复杂类型的存储优化，比如Map，List，Set等，这些集合都有一个特点可大可小，根据实际场景来定，一般情况下如果这些集合所包含的Entry不多，并且每个Entry所包含的Value不是很长的情况下，Redis内部使用紧凑格式来存储数据，紧凑格式存储数据在查询场景的算法复杂度是O(N)，而类似Map或者Set他们的查询算法复杂度都是O(1)那为什么要这么做呢 ？为了能够节省内存空间，在N很小的时候其实和O(1)没什么区别。所以这里不的不介绍紧凑格式的代表ZIPMap，他的数据结构是这样：

![120602142931641.png][]

可以看出，这个结构中初始情况只有2个字节，随着操作的增加它会变长，其中最关键的是一个关于Free这个字段的理解，以Map为例，如果新插入一个Key，那么对应ZipMap就会多出来一长串数据:<len><key><len><free><value>。从图中可以看到插入key1的时候只有绿色的一串，当key2插入的时候就会又出来一个类似的黄色结构串。free的功能是在插入的时候用来冗余空间的，当key所对应的数值发生变化的时候，如果数据变的比之前短了，那么free的长度就变大，这个时候不需要做ZipMap的resize操作，如果数据长度变长了，并且在free能够足以支持新数据的范围之内，那么free就被利用起来，并且也不需要做Resize。这个时候会有空间的浪费或者说碎片。空间换时间吧，没什么好说的。当然Redis的代码中还有另外一个参数ZIPMAP\_VALUE\_MAX\_FREE，这个参数可以用来设置如果Free的大小超过了这个值，那么ZipMap会发生Resize（收缩），从而节约空间。

**常用内存优化手段与参数**

redis实际上的内存管理成本非常高，即占用了过多的内存，作者对这点也非常清楚，所以提供了一系列的参数和手段来控制和节省内存，我们分别来讨论下。  
1.首先最重要的一点是不要开启Redis的VM选项，即虚拟内存功能，这个本来是作为Redis存储超出物理内存数据的一种数据在内存与磁盘换入换出的一个持久化策略，但是其内存管理成本也非常的高，并且我们后续会分析此种持久化策略并不成熟，所以要关闭VM功能，请检查你的redis.conf文件中 vm-enabled 为 no。  
2.其次最好设置下redis.conf中的maxmemory选项，该选项是告诉Redis当使用了多少物理内存后就开始拒绝后续的写入请求，该参数能很好的保护好你的Redis不会因为使用了过多的物理内存而导致swap,最终严重影响性能甚至崩溃。  
3.另外Redis为不同数据类型分别提供了一组参数来控制内存使用，我们在前面详细分析过Redis Hash是value内部为一个HashMap，如果该Map的成员数比较少，则会采用类似一维线性的紧凑格式来存储该Map, 即省去了大量指针的内存开销，这个参数控制对应在redis.conf配置文件中下面2项：  
hash-max-zipmap-entries 64   
hash-max-zipmap-value 512   
hash-max-zipmap-entries  
含义是当value这个Map内部不超过多少个成员时会采用线性紧凑格式存储，默认是64,即value内部有64个以下的成员就是使用线性紧凑存储，超过该值自动转成真正的HashMap。  
hash-max-zipmap-value 含义是当 value这个Map内部的每个成员值长度不超过多少字节就会采用线性紧凑存储来节省空间。  
以上2个条件任意一个条件超过设置值都会转换成真正的HashMap，也就不会再节省内存了，那么这个值是不是设置的越大越好呢，答案当然是否定的，HashMap的优势就是查找和操作的时间复杂度都是O(1)的，而放弃Hash采用一维存储则是O(n)的时间复杂度，如果成员数量很少，则影响不大，否则会严重影响性能，所以要权衡好这个值的设置，总体上还是最根本的时间成本和空间成本上的权衡。  
同样类似的参数还有：  
list-max-ziplist-entries 512  
说明：list数据类型多少节点以下会采用去指针的紧凑存储格式。  
list-max-ziplist-value 64   
说明：list数据类型节点值大小小于多少字节会采用紧凑存储格式。  
set-max-intset-entries 512   
说明：set数据类型内部数据如果全部是数值型，且包含多少节点以下会采用紧凑格式存储。

最后想说的是Redis内部实现没有对内存分配方面做过多的优化，在一定程度上会存在内存碎片，不过大多数情况下这个不会成为Redis的性能瓶颈，不过如果在Redis内部存储的大部分数据是数值型的话，Redis内部采用了一个shared integer的方式来省去分配内存的开销，即在系统启动时先分配一个从1~n 那么多个数值对象放在一个池子中，如果存储的数据恰好是这个数值范围内的数据，则直接从池子里取出该对象，并且通过引用计数的方式来共享，这样在系统存储了大量数值下，也能一定程度上节省内存并且提高性能，这个参数值n的设置需要修改源代码中的一行宏定义REDIS\_SHARED\_INTEGERS，该值默认是10000，可以根据自己的需要进行修改，修改后重新编译就可以了。

**参考文章**

Redis内存存储结构分析：[http://www.searchtb.com/2011/05/redis-storage.html][http_www.searchtb.com_2011_05_redis-storage.html]

Redis在实际应用中的优化：[http://www.chepoo.com/redis-application-optimize.html][http_www.chepoo.com_redis-application-optimize.html]

Redis几个认识误区：[http://www.chepoo.com/redis-some-misunderstandings.html][http_www.chepoo.com_redis-some-misunderstandings.html]

[120602142931641.png]: /images/20220805/89e1953c0ef64996a713f902e311170d.png
[http_www.searchtb.com_2011_05_redis-storage.html]: http://www.searchtb.com/2011/05/redis-storage.html
[http_www.chepoo.com_redis-application-optimize.html]: http://www.chepoo.com/redis-application-optimize.html
[http_www.chepoo.com_redis-some-misunderstandings.html]: http://www.chepoo.com/redis-some-misunderstandings.html