Joker的Redis 学习笔记 (一)

柔情只为你懂 2021-05-10 11:33 415阅读 0赞

### 1. 单线程架构 ###

#### 1.1 为什么单线程还那么快 ####

纯内存访问;
    非阻塞 I/O;(epoll 技术)
    单线程避免了线程切换和竞太产生的消耗;

#### 1.2 单线程的好处 ####

简化数据结构和算法的实现;
    单线程避免了线程切换和竞太产生的消耗,
    对于服务端开发来说,锁和线程切换通常是性能的杀手;

注意:

单线程会有一个问题,对于每个命令执行时间是有要求的,
    避免某个命令执行过长,会造成其他命令的阻塞,对于 Redis 是致命的,应避免.

启动 Redis:  redis-cli
    获取 Redis 的版本: redis-server -v/--version   redis-cli -v/--version

### 2. Redis 支持的数据类型 ###

#### 2. 1 Redis 支持的数据类型 ####

string(字符串)
    hash(哈希)
    list(列表)
    set(集合)
    zset(有序集合)
    Stream: Redis5 新增数据类型: 流数据类型

各类型数据支持的最大存储量

Strings类型：一个String类型的value最大可以存储512M
    
    Lists类型：list的元素个数最多为2^32-1个，也就是4294967295个
    
    Sets类型：元素个数最多为2^32-1个，也就是4294967295个
    
    Hashes类型：键值对个数最多为2^32-1个，也就是4294967295个
    
    Sorted sets类型：跟Sets类型相似

实际上这些只是 Redis 对外的数据结构,
    Redis 每种数据结构都有自己底层的内部编码实现,而且是多种的,
    这样 Redis 会在合适的场景选择合适的内部编码

![redis 5种数据结构以及 redis 数据结构和内部编码][redis 5_ redis]  
**可以使用 object encoding key 命令查询内部编码**

hash 中会有介绍

#### 全集命令 ####

keys * : 查看所有键
    
    dbsize: 直接取键总数变量
    
    exists key: 检查键是否存在
    
    del key1 [key2 ...]: 删除键
    
    expire key seconds: 给存在的 key 设置 seconds 的过期时间
    
    ttl key: 获取 key 的剩余过期时间
    
    type key: 返回键的结构类型

#### 2.2. 字符串: string ####

##### 1 基本介绍 #####

最大值不能超过512M;

常用命令:

set key value 
    	[ex seconds -- 秒级过期时间] 
    	[px milliseconds -- 毫秒级过期时间] 
    	[nx -- key 必须不存在,用于新增] 
    	[xx -- key 必须存在,用于更新] 设置
    	
    exists key 判断是否存在
    
    get key 获取
    
    mset key value [key1 value1 ...] 批量设置
    
    mget key [key1 ...] 批量获取
    
    incr key 做自增
    
    decr key 做自减
    
    incrby key xx 自增指定数
    
    decrby key xx 自减指定数
    
    incrbyfloat key x 自增浮点数

string 命令的时间复杂度  
![string 命令的时间复杂度][string]

#### 2 典型运用场景 ####

缓存功能 -- 加速读写和降低后端压力
    
    计数 -- 实现快速计数,查询缓存的功能,同时数据可以异步地落在其他数据源
    		典型运用: 视频播放次数
    			
    共享 session --- 一个分布式服务,将 Redis 作为用户的 session 集中管理的工具
    		典型运用: 钱鼓鼓单点登录
    			
    限速 -- 短信验证码的发送,秒杀

#### 2.3. 哈希: hash ####

##### 1 简单介绍 #####

数据结构:

键值本身又是一个键值对结构 形如: value = {
       {field1,value1},...{fieldn,valuen}}

基本命令:

hset key field value : 设置 key 值为 field-value
    
    hget key field: 获取 key 的 field 的值
    
    hdel key field [field ... ]: 删除 key 的 field 的值
    
    hlen key: 计算 key 的 field 的数量
    
    hmset key field value [field value ... ]: 批量设置 key 的 field value
    hmget key field [field ... ] : 批量获取 key 的 field 的值
    
    hexists key field: 判断 key 的 field 是否存在
    
    hkeys key: 获取 key 的所有的 field 值
    hvals key: 获取 key 的全部 value 值
    
    hstrlen key fuled: 计算 value 的长度  Redis 3.2以上
    
    hincrby key field / hincrbyfloat key field: 类似 incrby / incrbyfloat ,作用域为 field,递增 field
    hgetall key: 获取 key 的所有的 field - value
    	该命令如果在获取哈希元素个数比较多时,会存在阻塞 redis 的可能, 
    	可以考虑使用 hmget key field [ field...] 获取部分field
    	
    	如果一定要获取全部的 field-value 可以使用 hscan 命令,
    	该命令会渐进式遍历哈希类型

hash 基本命令的时间复杂度  
![hash 基本命令的时间复杂度][hash]  
内部编码

ziplist(压缩列表): 
    	当哈希类型元素个数小于 hash-max-ziplist-entries 配置(默认是 512 个),
    	同时所有值都小于 hash-max-ziplist-value 配置(默认64字节) ,
    	redis 会使用 ziplist 作为哈希的内部实现,
    	ziplist使用更加紧凑的结构实现多个元素的连续存储,
    	所以在节省内存方面比 hashtable 更加优秀
    
    hashtable(哈希表): 
    	当哈希类型无法满足 ziplist 的条件时,
    	Redis 会使用 hashtable 作为哈希的内部实现,因此此时 ziplist 的读写效率会下降,
    	而 hashtable 的读写时间复杂度为 O(1);

演示内部编码的变化

127.0.0.1:6379> hmset name:hj name zoe age 28 gender 0
    OK
    127.0.0.1:6379> object encoding name:hj
    "ziplist"
    127.0.0.1:6379> hset name:hj alias ssss ...省略 N个ssss... ssss
    (integer) 1
    127.0.0.1:6379> object encoding name:hj
    "hashtable"
    127.0.0.1:6379> 
    127.0.0.1:6379>

#### 典型使用场景 ####

缓存关系型数据库的用户基本信息
    	相比于字符串序列化的缓存用户信息,
    	哈希类型更加直观,
    	并且在更新操作上会更加便捷.

哈希类型和关系型数据库有两点不同之处:

哈希类型是稀疏的,而关系型数据库完全是结构化的;
    关系型数据库可以做复杂的关系查询,而 Redis 去模拟关系型复杂查询开发困难.维护成本高;

对比三种方法缓存用户信息:

1. 原生字符串类型: 每个属性一个值
    	一般不会采用
    
    2. 序列化字符串类型: 将用户信息序列化后用一个建保存
    	序列化和反序列化有一定的 I/O 开销, 
    	同时每次更新属性都需要把全部数据取出进行反序列化,更新后在序列化到 Redis 中
    	
    3. 哈希类型: 每个用户属性使用一对 field-value,但是只用一个键保存
    	要控制哈希在 ziplist 和 hashtable 两种内部编码的转换,
    	hashtable 会消耗更多的内存

### 2.4 列表: list ###

#### 1 简单介绍 ####

基本结构

列表是有序的,可以通过下标获取列表的值,
    列表每个元素称为 element ,
    一个列表最多可以存储2^32-1个 element 
    在 Redis 中可以对列表两端插入(push)和弹出(pop),
    还可以指定范围的元素列表 , 指定索引下标的列表
    可以充当栈和队列的角色

列表有两个特点:

1. 列表的元素是有序的
    		可以通过索引下标获取某个元素或者某个范围内的元素列表
    	
    2. 列表中的元素可以是重复的;
    
    这两点特点在后面介绍集合和有序集合后会显得更加突出

基本命令

1. 添加操作:
    rpush key v [ v... ]: 从右边插入元素
    
    lpush key v1 [v2... ]: 从右边插入元素
    
    linsert key before|after pivot v: 在列表 key 的 pivot 元素的 前|后 插入元素 v,返回结果为 list 的长度
    
    2. 查找:
    lrange key start end: 从列表左边下标为 start 开始获取到下标为 end 的所有值,包含 start  和 end 的值
    	列表下标从左开始是0 ~ N-1,从右边开始是 -1 ~ -N;
    	
    lindex key index: 获取 list 的 index 下标的值
    
    llen key: 获取 list 的长度
    
    3. 删除
    lpop key: 从 list 的左侧弹出元素
    
    rpop key: 从 list 的左侧弹出元素
    
    lrem key count value: 会从 list 中找出等于 value 的元素并进行删除,根据 count 的不同分为三种情况:
    	count > 0: 从左到右,删除最多 count 个元素;
    	count<0: 从右到左,删除最多 count 个元素;
    	count=0: 删除所有
    
    ltrim key start end: 按照索引范围修剪列表,将list 变为只包含原来 list 的 start 下标到 end下标的 list;
    
    4. 修改
    lset key index newValue: 将 list 的下标为 index 的值改为 newValue
    
    5. 阻塞操作
    blpop key [key ... ] timeout
    brpop key [key ... ] timeout
    	两者除了弹出方向不同,使用方法基本相同,下面以 brpop 为例进行说明
    	
    	1. 当列表为空时: 
    		如果 timeout =3,那么客户端会等到3秒返回,
    		如果 timeout=0那么客户端回一直等下去,一直阻塞下去;
    		
    	2. 列表不为空:
    		客户端会立即返回.
    注意:
    	如果有多个 key,那么 brpop会从左到右遍历键,一旦有一个键弹出元素客户端立即返回;
    	如果多个客户端对同一个键执行 brpop,那么最先执行命令的客户端可以获取弹出的值

内部编码

ziplist:
     	同 hash 基本规定一样
    linkedlist:
    	同 hash 基本规定一样

列表基本命令时间复杂度  
![列表基本命令时间复杂度][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1aml6aGlzaHVp_size_16_color_FFFFFF_t_70]

#### 2 典型使用场景 ####

1. 消息队列:
    	Redis 的 lpush + brpop 命令组合即可实现阻塞队列,
    	生产者客户端使用 lpush 从列表左侧插入元素,
    	多个消费客户端使用 brpop 命令阻塞式的抢列表尾部的元素,
    	多个客户端保证消费的负载均衡和高可用性
    	
    2. 文章列表:
    	1) 每篇文章使用哈希结构存储,例如每篇文章有3个属性title, timestanp,content:
    			hmset acticle:1 title xx timestamp 1476536196 content xxxx. ..
    			hmset acticle:k title yy timestamp 1476512536 content yyyy
    	2) 向用户文章列表添加文章, user: (id) :articles作为用户文章列表的键:
    			lpush user:1:acticles article:1 article:3 ...
    			Ipush user:k:acticles article:5 ...
    
    	3)分页获取用户文章列表,例如下面伪代码获取用户id=1的前10篇文章:
    			articles = lrange user:1:articles 0 9
    			for article in (articles}
    				hgetall (article)

注意:

1. 如果每次分页获取的文章数较多,需要执行多次hgetall操作,
    		此时可以考虑使用Pipeline (第3章会介绍)批量取,
    		或者考虑将文章数据序列化为字符串类型,使用mget批量获取。
    		
    	2. 分页获取文列表时, Irange命令在列表两端性能较好,
    		但是如果列表较大,获取列表中间范围的元素性能会变差,
    		此时可以考虑将列表做二级拆分,或者使用Redis 3.2的quicklist内部编实现,
    		它结合 ziplist 和 linkedlist 的特点,获取列表中间范围的元素时也可以高效完成。

实际上列表的使用场景很多,在选择时可以参考一下口诀:

lpush + lpop = Stack(栈)
    lpush + rpop = Queue(队列)
    lpush + ltrim = Capped Collection(有限集合)
    lpush + brpop = Message Queue(消息队列)

### 2.5 集合:set ###

#### 1 简单介绍 ####

数据结构

集合是无序的,不能通过下标获取集合的值
    集合不允许有重复的元素
    一个集合最多可以存储2^32-1个元素
    Redis 支持集合的增删改查,同时还支持集合取交集,并集,差集

基本命令

1.  单个集合的操作:

sadd key element [ element.. ]: 添加元素
    	
    	srem key element [ element... ]: 删除元素
    	
    	scard key: 计算元素个数
    	
    	sismember key element: 判断元素是否在集合中
    	
    	srandmember key [count]: 随机返回指定个数元素,count 在不指定的情况下默认为1
    	
    	spop key: 从集合随机弹出元素
    	
    	smembers key: 获取集合所有的元素,返回结果是无序的

1.  集合间的操作:

交集
    		sinter key key [key ... ]
    		sinterstore newkey key1 key2 [key...]: 
    			将 key1和 key2的交集保存在 newkey 中;
    			
    	并集
    		suinon key key [key... ]
    		suinonstore newkey key1 key2 [key...]: 
    			将 key1和 key2的并集保存在 newkey 中;
    			
    	差集
    		sdiff key key [key.. ]
    		sdiffstore newkey key1 key2 [key...]: 
    			将 key1和 key2的差集保存在 newkey 中;

**因为求集合间的交集,并集,差集会比较耗时,所以才会提供保存集合间的操作结果命令**

**集合常用命令时间复杂度**  
![集合常用命令时间复杂度][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1aml6aGlzaHVp_size_16_color_FFFFFF_t_70 1]  
内部编码

intset: 
    	当集合中元素都是整数且元素个数小于 set-max-intset-entries 配置(默认为512个)
    hashtable:
    	无法满足 intset 编码的要求时

#### 2 典型使用场景 ####

标签(tag):
    	比如一个用户可能对娱乐,体育感兴趣,另一个用户对新闻,历史,八卦感兴趣,这些兴趣就是标签.
    	根据这些标签可以就可以得到喜欢同一个标签的人,以及用户共同喜好的标签
    	这些数据对于用户体验以及增强用户的黏度比较重要
    	
    例如:
    	一个电商网站会对不同标签的用户进行分类,比如对数码产品感兴趣的用户,
    	在各个页面或者通过邮件的形式给他们推荐最新的数码产品,通常会为网站带来更多的利益

**集合类型的应用场景通常为一下几种:**

1. sadd: Tagging(标签)
    2. spop/srandmemder: Random item(生成随机数,比如抽奖)
    3. sadd+sinter: Social Graph(社交需求)

### 2.6 有序集合:zset ###

#### 1 简单介绍 ####

数据结构

不允许重复元素
    有序的集合
    但是不同于列表是索引有序,有序集合的有序是通过给每个元素设置一个分数作为排序的依据
    虽然元素不能重复,但是元素的分数可以重复

**列表,集合和有序集合的异同点**

<table> 
 <thead> 
  <tr> 
   <th>数据结构</th> 
   <th>是否允许重复元素</th> 
   <th>是否有序</th> 
   <th>有序实现方式</th> 
   <th>应用场景</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>列表</td> 
   <td>✔️</td> 
   <td>✔️</td> 
   <td>索引下标</td> 
   <td>时间轴,消息队列等</td> 
  </tr> 
  <tr> 
   <td>集合</td> 
   <td>×</td> 
   <td></td> 
   <td>×</td> 
   <td>–</td> 
  </tr> 
  <tr> 
   <td>有序集合</td> 
   <td>×</td> 
   <td>✔️</td> 
   <td>分值</td> 
   <td>排行榜,社交等</td> 
  </tr> 
 </tbody> 
</table>

基本命令  
**单个有序集合**

zadd key score member [member...]: 添加成员
    
    zcard key: 计算成员的个数
    
    zscore key member: 计算某个成员的分数
    
    zrank key member: 计算成员分数从底到高的排名
    
    zrevrank key member: 计算成员分数从高到低的排名 
    
    zrem key member [member... ]: 删除成员
    
    zincrby key num member: 增加成员的分数,num 分,当 num 为负数时,即为减少
    
    zrange key start end [withsrores]: 从低到高返回指定排名的成员,带 withscore 时连分数也一起返回
    
    zrevrange key start end [withsrores]: 从高到低返回指定排名的成员,带 withscore 时连分数也一起返回
    
    返回指定分数范围的成员: 
    	zrangebyscore key minscore maxscore [withscores] [limit offset count]:
    		按照分数从低到高返回,withscores 同时返回每个成员的分数,limit offset count 可以限制输出的其实位置和个数
    	zrevrangebyscore key minscore maxscore [withscores] [limit offset count]:
    		返回指定分数范围的成员: 按照分数从高到低返回
    	同时 min 和 max 还支持开区间(小括号)和闭区间(中括号), -inf 和 +inf 分别代表无限小和无限大
    
    zcount key min max: 返回指定分数分为成员的个数
    
    zremrangebyrank key start end: 删除指定排名内的升序元素
    
    zremrangebyscore key min max: 删除制定分数范围内的成员

zadd 命令的使用注意点:

1. 提供了nx,xx,ch,incr 四个选项:
    	nx: member 必须不存在,才可以设置成功,用于添加
    	xx: member 必须存在,才可以设置成功,用于更新
    	ch: 返回此次操作后,有序集合元素和分数发生变化的个数
    	incr: 对 score 做增加,相当于后面介绍的 zincrby
    	
    2. 时间复杂度提升,作为有序的代价: 
    	zadd 的时间复杂度为 O(log(n)),sadd的时间复杂度为 O(1)

**有序集合间的操作**

1.  交集

zinterstore destination numkeys  key  [key …]   
    	[weights  weight  [weight ...] [aggregate sum|min|max]

参数说明:

destination: 交集计算结果保存到这个键
    numkeys: 需要做交集计算 键的个数
    key: 需要做交集的键
    weights: 每个键的权重,在做交集计算时,每个键中的每个 member 会将自己分数乘以这个权重,每个键权重默认为1
    aggregate sum|min|max: 计算成员交集后,分值可以按照 sum,min(最小值),max(最大值)做汇总,默认值为 sum

示例

127.0.0.1:6379> zinterstore user:ranking:1_inter_2 2 user:ranking:1 user:ranking:2 weights 1 0.5 aggregate max
    (integer) 3
    # 解释该命令: 求 user:ranking:1 和 user:ranking:2 这两个有序集合的交集,
    # 并且 user:ranking:1 中元素的权重为1,user:ranking:2 中元素的权重为0.5,
    # 计算成员交集后,分值按照 max 做汇总.

1.  并集

zunionstore destination numkeys  key  [key …]   
    	[weights  weight  [weight ...] [aggregate sum|min|max]

参数说明:

destination: 并集计算结果保存到这个键
    numkeys: 需要做并集计算 键的个数
    key: 需要做并集的键
    weights: 每个键的权重,在做交集计算时,每个键中的每个 member 会将自己分数乘以这个权重,每个键权重默认为1
    aggregate sum|min|max: 计算成员并集后,分值可以按照 sum,min(最小值),max(最大值)做汇总,默认值为 sum

示例

127.0.0.1:6379> zunionstore user:ranking:1_inter_2 2 user:ranking:1 user:ranking:2 weights 1 0.5 aggregate max
    (integer) 3
    # 解释该命令: 求 user:ranking:1 和 user:ranking:2 这两个有序集合的并集,
    # 并且 user:ranking:1 中元素的权重为1,user:ranking:2 中元素的权重为0.5,
    # 计算成员并集后,分值按照 max 做汇总.

有序集合常用命令的时间复杂度  
![有序集合常用命令的时间复杂度][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1aml6aGlzaHVp_size_16_color_FFFFFF_t_70 2]  
内部编码

ziplist(压缩列表): 
     	有序集合元素小于zset-max-ziplist-entries 配置(默认128),
     	同时每个元素的值都小于 zset-max-ziplist-value 配置(默认64字节)时
     skiplist(跳跃列表):
     	不满足 ziplist 编码条件时

#### 2 典型使用场景 ####

**有序集合比较典型的使用场景就是排行榜系统.例如视频网站需要对用户上传的视频做排行榜,榜单的维度可能是多个方面的:按照时间,按照播放量,按照获得的点赞数.**

以点赞数为例,主要实现以下4个功能:
    	1. 添加用户点赞数:
    		zadd user:ranking:2016_03_15 3 mike 
    		之后可以使用 zincrby 递加 / 减少(用户取消点赞)
    		zincrby    user:ranking:2016_03_15     1/-1(取消点赞)    mike
    		
    	2. 删除用户点赞数:
    		zrem user:ranking:2016_03_15 mike
    		
    	3. 展示获取赞数最多的十个用户:
    		zrevrangebyrank user:ranking:2016_03_15 0 9
    		
    	4. 展示用户信息以及用户分数:
    		hgetall user:info:tom
    		zscore user:ranking:2016_03_15 mike
    		zrank user:ranking:2016_03_15 mike

[redis 5_ redis]: /images/20210508/584ac747766441418f35237b24e38339.png
[string]: /images/20210508/57a12870cf584142830b3493a592b500.png
[hash]: /images/20210508/972c6951bc4f46078c570b440ca852d3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1aml6aGlzaHVp_size_16_color_FFFFFF_t_70]: /images/20210508/e855ac24fcb94d68a17c1a8fc66e5078.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1aml6aGlzaHVp_size_16_color_FFFFFF_t_70 1]: /images/20210508/bc52a14117904524aa9434c3916f284c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1aml6aGlzaHVp_size_16_color_FFFFFF_t_70 2]: /images/20210508/b89a71f14aa740c3abc871f5d4a6622e.png