Redis引入

短命女 2022-08-31 00:45 176阅读 0赞

## 数据库层面优化 ##

数据库存储的性能问题？

当用户请求数量不断增加，数据库就会遇到瓶颈，I/O响应时间就会变长，所以需要一些技术和手段提升用户请求数量，降低响应时间

![20210721195809612.png][]

### 池化技术 ###

druid数据库连接池，实现资源的复用（降低资源创建、销毁的开销）

![20210721200522255.png][]

### 数据库本身优化 ###

*  索引：对频繁搜索的表列设置索引，直接根据位置定位查询，避免全表扫描查询
 *  sql执行计划
 *  应用-->数据库：数据量的传输，尽量减少数据库交互次数

### 数据库读写分离 ###

避免数据库增删改事务操作影响到查询的速度，通过一主多从，主从同步实现数据一致

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70][]

### 数据量的增加 ###

*  对部分数据进行缓存
 *  分表——垂直拆分、水平拆分

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70 1][]

### 数据库的发展 ###

关系型数据库 --> no sql --> new sql

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70 2][]

**关系型数据库**：行式存储的数据库

**no sql**：不遵从sql的语义和规范，不使用规范的sql作为查询，提供了更高的扩展性和性能

针对不同类型的数据的存储，使用不同类型的数据库

**k-v数据库**：基于内存存储，所以效率快，时间复杂度是常量级别的O(1)，TPS接近10W。但是查询方式单一，只根据基于k-v查询；内存有限，所以无法进行海量数据存储

**列式数据库**：关系数据库以行式存储，而列式数据库以列式存储，列式数据库适合在数据分析中使用，不适合事务操作的场景

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70 3][]

![2021072517153896.png][]

**文档数据库**：

**图形数据库**：

**new sql**：结合了sql和Nosql的优点，提供高扩展高性能，但是不保证强一致性

# Redis #

k-v数据库，基于内存操作，内存存储，可扩展

## Redis安装 ##

参看链接：[https://blog.csdn.net/luciferlongxu/article/details/119111228][https_blog.csdn.net_luciferlongxu_article_details_119111228]

## Redis数据类型 ##

### String类型 ###

<table>  String类型常用命令  
 <thead> 
  <tr> 
   <th>命令</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>set key value [ex seconds]</td> 
   <td>设置指定key的value，如果key不存在则创建，存在则修改</td> 
  </tr> 
  <tr> 
   <td>get key</td> 
   <td>获取指定key的值</td> 
  </tr> 
  <tr> 
   <td>del key [key ...]</td> 
   <td>删除指定key</td> 
  </tr> 
  <tr> 
   <td>mset key value [key value ...]</td> 
   <td>批量设置值</td> 
  </tr> 
  <tr> 
   <td>mget key [key ...]</td> 
   <td>批量获取值</td> 
  </tr> 
  <tr> 
   <td>incr key</td> 
   <td> <p>对指定key对应的value进行原子递增（value必须是int类型），<strong>可实现全局唯一id</strong></p> </td> 
  </tr> 
  <tr> 
   <td>decr key</td> 
   <td>对指定key对应的value进行原子递减（value必须是int类型）</td> 
  </tr> 
  <tr> 
   <td>setex key value(second)</td> 
   <td>设置指定key的过期时间，单位为秒</td> 
  </tr> 
  <tr> 
   <td>setnx</td> 
   <td>将key的值设置为value，如果key存在返回0不做处理，否则返回1，<strong>可实现排他锁</strong></td> 
  </tr> 
  <tr> 
   <td>getset</td> 
   <td>将指定key的值设置为value，并返回key修改前的值</td> 
  </tr> 
 </tbody> 
</table>

String类型存储结构：SDS存储，底层是char数组存储

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70 4][]

有sdshdr5、sdshdr8、sdshdr16、sdshdr32、sdshdr64，根据string的长度来判断使用哪个sds对象存储

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70 5][]

**使用场景**

*  分布式缓存
 *  全局ID：通过incr key原子指令设置value实现全局唯一id
 *  通过计数器限流：通过incr key指令，设置如果value达到限制的数量则限流
 *  分布式session

**key的管理**

*  key过期时间
 *  key的长度不宜过长，key/value占用内存空间
 *  key的名字要设置有意义的值

### List类型 ###

<table>  List类型常用命令  
 <thead> 
  <tr> 
   <th>命令</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>LPUSH key value [value...]</td> 
   <td>从队列左边入对一个或多个元素</td> 
  </tr> 
  <tr> 
   <td>LPOP key</td> 
   <td>从队列左边出对一个元素</td> 
  </tr> 
  <tr> 
   <td>RPUSH key value [value...]</td> 
   <td>从队列右边入队一个元素</td> 
  </tr> 
  <tr> 
   <td>RPOP key</td> 
   <td>从队列右边出对一个元素</td> 
  </tr> 
  <tr> 
   <td>BLPOP key [key...] timeout</td> 
   <td>删除，并获取该列表中第一个元素，如果队列没有元素则阻塞，直到有新的元素</td> 
  </tr> 
  <tr> 
   <td>BRPOP key [key...] timeout</td> 
   <td>删除，并获取该列表最后一个元素，如果队列没有元素则阻塞，直到有新的元素</td> 
  </tr> 
  <tr> 
   <td>LLEN key</td> 
   <td>返回列表key的长度</td> 
  </tr> 
 </tbody> 
</table>

有序的可重复的列表，是栈结构+队列结构的组合，支持非阻塞LIFO/FIFO，也支持阻塞LIFO/FIFO

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70 6][]

**List类型插入数据原理**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70 7][]

**QuickList结构**

由双向链表来构成，每个节点的数据是基于ziplist（压缩列表）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70 8][]

ziplist压缩列表：如下图所示，原始列表即便每个元素只存入一个字节的内容，但是依然占用了5个字节的空间；而压缩列表会根据内容的长度定义占用的空间大小，一个字节的内容就标识只占用一个字节的空间，从而节省内存空间

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70 9][]

**使用场景**：分布式队列、消息通信、商品秒杀

![20210726094425554.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70 10][]

### Hash类型 ###

<table>  Hash类型常用命令  
 <thead> 
  <tr> 
   <th>命令</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>HSET key field value</td> 
   <td>将hash表中field字段的值设置为value，如果key不存在则创建新的hash表，存在则修改field的value</td> 
  </tr> 
  <tr> 
   <td>HGET key field</td> 
   <td>返回hash表key中指定field字段的值</td> 
  </tr> 
  <tr> 
   <td>HDEL key field [field...]</td> 
   <td>删除hash表key中一个或多个field，如果不存在则忽略</td> 
  </tr> 
  <tr> 
   <td>HEXISTS key field</td> 
   <td>查看hash表key中指定field是否存在，存在返回1，不存在返回0</td> 
  </tr> 
  <tr> 
   <td>HGETALL key</td> 
   <td>返回hash表key中所有的field和value</td> 
  </tr> 
  <tr> 
   <td>HKEYS key</td> 
   <td>返回hash表key中所有的field</td> 
  </tr> 
  <tr> 
   <td>HLEN key</td> 
   <td>返回hash表key中field的数量</td> 
  </tr> 
  <tr> 
   <td>HVALS key</td> 
   <td>返回hash表key中所有field的value</td> 
  </tr> 
  <tr> 
   <td>HMGET key field [field...]</td> 
   <td>返回hash表key中，一个或多个指定field的值</td> 
  </tr> 
  <tr> 
   <td>HMSET key field value [field value...]</td> 
   <td>同时将多个field-value设置到hash表指定的key中，如果field存在则覆盖，不存在则创建新的hash表</td> 
  </tr> 
 </tbody> 
</table>

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70 11][]

**Hash存储结构**

ziplist压缩列表：如果hash类型的元素个数小于512，以及所有元素的值都小于64个字节时，默认使用ziplist结构来存储元素

dictionary：如果不满足上面的条件，则使用数据字典hashtable来存储，hashtable读写时间复杂度是O(1)，通过key进行hash运算得到指定位置获取元素，如果hash冲突，通过链式寻址解决

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70 12][]

**使用场景**：购物车、商品详情信息、用户信息、计数器

### Set类型 ###

无序但数据唯一的集合，适合用来获取两个集合的交集或差集

<table>  Set类型常用命令  
 <thead> 
  <tr> 
   <th>命令</th> 
   <th>描述</th> 
   <th>时间复杂度</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>SADD key member [member...]</td> 
   <td>添加一个或多个元素到集合</td> 
   <td>O(N)</td> 
  </tr> 
  <tr> 
   <td>SCARD key</td> 
   <td>获取集合里面的元素数量</td> 
   <td>O(1)</td> 
  </tr> 
  <tr> 
   <td>SDIFF key [key...]</td> 
   <td>获取队列不存在的元素</td> 
   <td>O(N)</td> 
  </tr> 
  <tr> 
   <td>SDIFFSTORE destination key [key...]</td> 
   <td>获取队列不存在的元素，并存储在另一个结果集</td> 
   <td>O(N)</td> 
  </tr> 
  <tr> 
   <td>SINTER key [key...]</td> 
   <td>获取两个集合的交集</td> 
   <td>O(N*M)</td> 
  </tr> 
  <tr> 
   <td>SINTERSTORE destination key [key...]</td> 
   <td>获取两个集合的交集，并存储在另一个结果集</td> 
   <td>O(N*M)</td> 
  </tr> 
  <tr> 
   <td>SISMEMBER key member</td> 
   <td>确定一个给定的值是否是集合的成员</td> 
   <td>O(1)</td> 
  </tr> 
  <tr> 
   <td>SMEMBERS key</td> 
   <td>获取集合里的所有元素</td> 
   <td>O(N)</td> 
  </tr> 
  <tr> 
   <td>SMOVE source destination member</td> 
   <td>移动集合里的一个元素到另一个集合</td> 
   <td>O(1)</td> 
  </tr> 
  <tr> 
   <td>SPOP key [count]</td> 
   <td>删除并获取集合里面的元素</td> 
   <td>O(1)</td> 
  </tr> 
  <tr> 
   <td>SRANDMEMBER key [count]</td> 
   <td>从集合里随机获取一个元素</td> 
   <td> <p></p> </td> 
  </tr> 
  <tr> 
   <td>SREM key member [member...]</td> 
   <td>从集合里删除一个或多个元素</td> 
   <td>O(N)</td> 
  </tr> 
  <tr> 
   <td>SUNION key [key...]</td> 
   <td>添加多个set元素</td> 
   <td>O(N)</td> 
  </tr> 
  <tr> 
   <td>SUNIONSTORE destination key [key...]</td> 
   <td>合并set元素，并将结果存入新的set里面</td> 
   <td>O(N)</td> 
  </tr> 
 </tbody> 
</table>

**Set类型存储结构：intset和Hashtable**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70 13][]

**应用场景**：标签管理...

### Zset类型 ###

有序的数据唯一的集合，存入的每个元素都对应有一个score（float类型），可以根据score进行排序

<table>  Zset类型常用命令  
 <thead> 
  <tr> 
   <th>命令</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>zadd key score member [{score member}...]</td> 
   <td>创建或设置指定key对应的有序集合，根据每个值对应的score来排名，默认升序</td> 
  </tr> 
  <tr> 
   <td>zrem key member</td> 
   <td>删除指定key对应的集合中的member元素</td> 
  </tr> 
  <tr> 
   <td>zcard key</td> 
   <td>返回指定key对应的有序集合的元素数量</td> 
  </tr> 
  <tr> 
   <td>zincrby key increment member</td> 
   <td>将指定key对应的集合中的member元素对应的分值递增increment</td> 
  </tr> 
  <tr> 
   <td>zcount key min max</td> 
   <td>返回指定key对应的有序集合中，分值在min~max之间的元素个数</td> 
  </tr> 
  <tr> 
   <td>zrank key member</td> 
   <td>返回指定key对应的有序集合中，指定元素member在集合中的排名，从0开始分值从小到大升序</td> 
  </tr> 
  <tr> 
   <td>zscore key member</td> 
   <td>返回指定key对应的有序集合中，指定member对应的分值</td> 
  </tr> 
  <tr> 
   <td>zrange key min max [withscores]</td> 
   <td>返回指定key对应的有序集合中，索引在min~max之间的元素信息，如果带上withscores属性，可以将分值也带出来</td> 
  </tr> 
  <tr> 
   <td>zrevrank key member</td> 
   <td>返回指定key对应的集合中，指定member在其中的排名，排名从0开始按照分值从大到小降序</td> 
  </tr> 
  <tr> 
   <td>zrevrange key start end [withscores]</td> 
   <td>指定key对应集合中，分值在start~end之间的降序，加上withscores属性，可以将分值和value都获取出来</td> 
  </tr> 
  <tr> 
   <td>zrangebyscore key start end [withscores]</td> 
   <td>同zrange不同的是，zrange是索引在start~end之间的元素查询，而zrangebyscore是根据分值在start~end之间的元素查询且升序展示</td> 
  </tr> 
  <tr> 
   <td>zremrangebyrank key start end</td> 
   <td>移除指定key对应集合中索引在start~end之间（包括start和end本身）的元素</td> 
  </tr> 
  <tr> 
   <td>zremrangebyscore key start end</td> 
   <td>移除指定key对应集合中分值在min~max之间的元素</td> 
  </tr> 
 </tbody> 
</table>

**Zset类型存储结构**：ziplist和zskiplist

如果根据key进行查询，通过hashtable检索key得到位置获取数据值，时间复杂度是O(1)

如果根据score进行查询，通过zskiplist跳跃列表进行检索返回数据，时间复杂度是O(log N)

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70 14][]

zskiplist是对链表的优化，链表的时间复杂度是O(N)，而zskiplist跳跃列表时间复杂度是N的对数O(log N)

![20210726153620737.png][]每个元素存储时会设置索引和level层数，以上图为例，可以看出这个zskiplist总共有4层，如果我们想查询19，那么会从第4层开始查找，找到6对比小于19，会往后找发现第4层后面没有元素，接着在第3层寻找，找到25对比大于19，然后在第2层往前查找，找到17比19小，找到第一层往后查找，找到19并返回

**使用场景**：用户点赞数排行榜、热点话题排行

[20210721195809612.png]: /images/20220829/3e553571038649b7bfbb10062d64decf.png
[20210721200522255.png]: /images/20220829/4cdad665cad64431bd9192a065a2eab8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70]: /images/20220829/825d10b373c94a5188ae73d6db010e55.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70 1]: /images/20220829/c062b96aaed44c95b79bf70d4fa1e700.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70 2]: /images/20220829/913beb4fd8d4400dbd566cdbb45eb11f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70 3]: /images/20220829/dcee230815414d7882501aa54ac17d7a.png
[2021072517153896.png]: /images/20220829/5a5233d0b8d84a78a9eaac7be57c5c74.png
[https_blog.csdn.net_luciferlongxu_article_details_119111228]: https://blog.csdn.net/luciferlongxu/article/details/119111228
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70 4]: /images/20220829/9c178433c6a24634979f94b5d88c2fec.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70 5]: /images/20220829/8d1c3424ed3d4e1f9552f852c26a4fa9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70 6]: /images/20220829/a12cae4eae314392927319d314b97ba7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70 7]: /images/20220829/b3eeb99edf9c47c786aa7a19affb0af7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70 8]: /images/20220829/efadfe57f09d463ebe9e1b9523af71fa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70 9]: /images/20220829/97f2da60bb114bf48492519bdcc8bfdd.png
[20210726094425554.png]: /images/20220829/ee360fbf66d8495288b4e4d24ad29ab4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70 10]: /images/20220829/d50f57af6978426a8ea2136303414435.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70 11]: /images/20220829/45e82de037d94f90bbd24e0fff85d885.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70 12]: /images/20220829/e211ab9a08e94550bb16d7b04d37a310.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70 13]: /images/20220829/e45570268cc343c4bdf6b2b086d17ee3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1Y2lmZXJsb25neHU_size_16_color_FFFFFF_t_70 14]: /images/20220829/91b92c72efeb4eba919cc2dc178ff1d5.png
[20210726153620737.png]: /images/20220829/f7638b529d6448e29505ab53434f1c5e.png