Redis底层实现--字符串

ゞ浴缸里的玫瑰 2022-12-25 09:57 127阅读 0赞

#### Redis字符串存储实现原理 ####

*  Redis 中的字符串是可以修改的字符串，在内存中他是以字节数组的形式存在的。我们在入门语言C语言里面的字符串标准形式是以NULL（即0x\\0）作为结束符，但是Redis里面，字符串表示方法不是这样，因为，要获取以null结尾的字符串需要遍历整个字符串，时间复杂度是O(n)，对应单线程对外服务的Redis来说是无法承受的。
 *  Redis的字符串结构叫做SDS，Simple Dynamic String。他的结构是一个带上长度信息的字节数组，类似C语言中的结构体。

struct SDS<T>{ 
    	T capacity;			//数组容量
    	T len;				//已有数据长度
    	byte flags; 		//特殊标志位
    	byte[] content;      //数组主体内容
    }

*  Redis中SDS存储结构的设计类似于ArrayList机构，因为Redis允许字符串的修改，因此初始申请可以有一部分的冗余空间。
    
     *  capacity 标识所有分配数组的长度，包括未存储数据的部分空间
     *  len标识字符串的实际长度
     *  当冗余的空间不够时候，先扩容，在复制旧的内容，然后在添加新内容，如果字符串长度非常长，内存的分配和复制开销会特别大。
 *  以上结构体中，使用的泛型T，其中Capacity和len的类型是T，因为Redis对存储的压缩优化
    
     *  当存储字符串比较短的时候，了你和capacity可以使用byte和short来表示，
 *  Redis规定字符串长度不超过512M，创建字符串时候len和capacity一样长，不会多分配冗余空间，这是因为绝大多数场景下我们不会去修改字符串。

##### embstr OR raw #####

*  Redis字符串有两种存储方式，在长度短的时候，使用embstr形式存储，长度超过44 字节时候，使用raw形式存储，如下实验：

新docker-redis:0>set codehole aaaaaaaabbbjjbjbdjjskjkjsdeuiopoiioioioioioi
    "OK"
    新docker-redis:0>debug object codehole
    "Value at:0x7f0a3b3c22c0 refcount:1 encoding:embstr serializedlength:41 lru:12955894 lru_seconds_idle:8"
    新docker-redis:0>set codehole aaaaaaaabbbjjbjbdjjskjkjsdeuiopoiioioioioioi1111
    "OK"
    新docker-redis:0>debug object codehole
    "Value at:0x7f0a3d6d66a0 refcount:1 encoding:raw serializedlength:43 lru:12955928 lru_seconds_idle:2"

*  一下我们通过分析Redis字符串对象存储结构来说明两个问题
    
     *  问题一：为什么是44个字节作为界限
     *  问题二：embstr 和raw存储的区别
 *  Redis对象存储都会有一个头部结构，如下形式

struct RedisObject{ 
    	int4 type;			//4bit
    	int4 encoding;		//4bit
    	int24 lru;			//24bit 3byte
    	int32 refcount;		//32bit 4byte
    	void *ptr;			//8byte, 64bit system
    } robj;

*  不同的对象具有不同的type 类型（4bit）。
 *  同一个类型的type也会有不同的存储方式encoding（4bit）。
 *  为了记录对象的lru信息，使用了24bit来记录lru信息
 *  每个对象都有一个引用计数，refcount，当他归零时候，对象不被任何地方使用，对象将被销毁，内存被回收
 *  ptr指针结构将指向对象的具体存储位置（body）
 *  以上所有的综合一起 4bit+ 4bit+ 24bit + 32 bit + 64bit = 128bit = 16byte，所有Redis对象的对象头结构都需要占据16字节存储空间。
 *  接着我们在分享SDS结构体大小，在字符串比较小的时候，SDS对象头结构的大小如下：

struct SDS{ 
    	int8 capacity;		//1byte
    	int8 len;			//1byte
    	int8 flags;			//1byte
    	byte[] content; 	//存储数据的数组，长度capacity
    }

*  如上结构中 capacity ，len， flags 三个都占用1byte的内存，其他的就是 capacity长度的数组，用来存储具体数据。也就是最少也要3 个字节的存储空间。加上上面的16byte，我们一个没有存储字符串的Redis字符串对象，已经有19 byte的空间被系统各种属性占用。
 *  我们在内存分配的时候，使用jemalloc， tcmalloc等分配内存大小的单元都是2/4/4/8/16/32/64 byte，
 *  为了容纳完整的embstr对象，jemalloc最少分配32byte空间，如果字符串稍微长点，那就是64byte，如果字符串超过64byte，Redis会认为是一个大字符串，不在适合emdstr存储的形式，而使用raw形式
 *  我们用最大内存空间64 来计算最大字符串长度， 64 - 19 = 45 ，但是之前实验得到的是44
 *  SDS结构中content中字符串是以null结尾，多出这个字节，便于直接使用glbc的字符串处理函数，以及便于字符串的调试打印输出。最终得出了44 的长度。如下图：  
    ![在这里插入图片描述][2020120115101942.png]
 *  问题二中embstr存储形式与 raw的存储形式如下
    
     *  embst存储将RedisObject对象头结构和SDS对象连续存储在一起，使用malloc方法一次性分配内存
     *  raw存储形式不一样，他需要两次malloc方法，两个对象头在内存地址上不连续通过对象头中 ptr指针来寻址存储位置。  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpYW9qaWFtaW4wMTAy_size_16_color_FFFFFF_t_70]

##### 扩容策略 #####

*  字符串的扩容两种方式：
    
     *  字符串长度在1MB之前，扩容空间都是加倍扩容，也就是保留100%的冗余空间
     *  字符串长度超过1MB后，避免加倍后冗余空间浪费过多，每次只多分配1MB大小的冗余空间。

[上一篇：Redis服务信息–Info指令][Redis_Info]

[2020120115101942.png]: /images/20221120/34b5542739ef4c5ab76677ea5597457c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpYW9qaWFtaW4wMTAy_size_16_color_FFFFFF_t_70]: /images/20221120/7b7ce933461f4ad0a252344799d8e632.png
[Redis_Info]: https://blog.csdn.net/liaojiamin0102/article/details/110135173