redis一些特性整理

淩亂°似流年 2023-01-19 04:56 3阅读 0赞

### 文章目录 ###

*  关系型数据库
 *   *  优点
     *  缺点：
 *  非关系型数据库
 *   *  优点
     *  缺点
 *  redis事务
 *  Lua脚本
 *   *  lua脚本应用
     *  使用lua脚本注意
 *  redis 为什么这么快
 *  为什么使用单线程?
 *  用户空间和内核空间
 *  I/O阻塞在哪里？
 *  I/O多路复用
 *  事件驱动
 *  单线程？
 *  上下文切换
 *  文件描述符
 *  内存回收
 *   *  过期策略
     *  淘汰策略
 *  LRU实现原理
 *  redis 发布订阅

redis是一个基于key-value结构的非关系型数据库。

# 关系型数据库 #

## 优点 ##

1.  易于维护: 都是使用表结构，格式一致，易于维护
2.  使用方便：SQL语言通用，可用于复杂查询；
3.  支持更复杂操作：支持SQL，可用于一个表以及多个表之间非常复杂的查询。

## 缺点： ##

1.  读写性能比较差，尤其是海量数据的高效率读写；
2.  固定的表结构，灵活度稍欠；
3.  高并发读写需求，传统关系型数据库来说，硬盘I/O是一个很大的瓶颈。

# 非关系型数据库 #

## 优点 ##

1.  格式灵活：存储数据的格式可以是key,value形式、文档形式、图片形式等等，文档形式、图片形式等等，使用灵活，应用场景广泛，而关系型数据库则只支持基础类型
2.  速度快：nosql可以使用硬盘或者随机存储器作为载体，而关系型数据库只能使用硬盘
3.  高扩展性，可以更加灵活的水平扩展。（关系型数据库水平扩展需要借助第三方分库分表）
4.  nosql数据库部署简单，基本都是开源软件。

## 缺点 ##

1.  各个非关系数据库，使用规范不统一，不提供sql支持，学习和使用成本较高；
2.  数据结构相对复杂，复杂查询方面稍欠缺。

# redis事务 #

multi 开启事务  
exec 执行事务  
discard 取消事务  
watch 监视，为了防止执行事务过程中，一些值发生变化了。可以添加watch监视一些值，若中途发生了变化，就不能提交

# Lua脚本 #

lua脚本是一个轻量级脚本。使用lua脚本好处

1.  一次性可以发送多个命令，减少网络开销
2.  redis会将整个脚本作为一个整体执行，不会被其他请求打断，保持了原子性。
3.  对于复杂的组合命令，可以放在一个文件中，实现命令的复用

## lua脚本应用 ##

1.  lua脚本可以和redis结合实现限流。参考之前写的一篇[【点击链接】][Link 1]  
    简单思想就是：把ip作为key，时间窗口作为过期时间，请求进来就自增一，超过并发数就拒绝，超时将key自动清除。
2.  可以实现redission分布式锁。在lock源码底层是使用的lua脚本执行命令，保证原子性

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3MTg1MTUwMjg_size_16_color_FFFFFF_t_70]

## 使用lua脚本注意 ##

redis是单线程的，lua脚本里面耗时过长，那么redis的其他命令都将不能执行，会返回busy。 这时候可以选择停止lua脚本。但是也不是所有脚本都能停止的，比如里面有set，del操作，需要原子操作，这时不能停止。只能通过停止redis服务。通过shutdown nosave .所以使用lua脚本时候需要注意耗时的操作。

# redis 为什么这么快 #

1.纯内存KV（最主要）  
2.单线程（请求单线程）  
3.同步非阻塞I/O – 多路复用

# 为什么使用单线程? #

减少了线程创建销毁的销毁  
没有频繁的上线文切换  
没有多个线程竞争的问题。  
单线程处理要注意耗时很长的操作

# 用户空间和内核空间 #

进程创建时候会被分配虚拟内存，虚拟内存是磁盘的一部分  
linux里面将虚拟内存分成了2部分，用户空间和内核空间。  
用户空间是用户的应用程序可以执行操作了，里面可以存放用户的代码和程序。  
内核空间里面可以存放的操作系统内核的代码和成功  
如果进程处于用户空间就是用户态：只能进行一些简单的运算，不能直接操作系统的资源，如果需要操作需要调用系统的接口  
如果进程处于内核空间，就是内核态。此时可以操作计算机受保护空间，也可以访问底层的接口和程序，调用系统一切资源。  
避免用户进程直接操作内核，保证内核的安全。

传统的I/O操作磁盘的内容如下  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3MTg1MTUwMjg_size_16_color_FFFFFF_t_70 1]

# I/O阻塞在哪里？ #

当对某个文件进行读写时候，如果当前文件不可读，系统就不会做出回应。此时从硬件复制到内核缓存区是阻塞的，从内核拷贝到用户空间“等待数据”，也是阻塞的，直到拷贝完成，内核返回结果，才解除阻塞状态。

为了解决阻塞问题，1，服务端可以用多线程操作，性能瓶颈 2、由请求方轮询，数据准备好了后从内核复制到用户空间。（一直轮询也会消耗性能）

# I/O多路复用 #

redis使用的是I/O多路复用  
多路：指的是多个TCP连接（socket或者channel）  
复用指的是复用同一个或多个线程  
redis的基本原理是不再有客户端自己监视连接，客户端在连接的时候，会产生不同事件的socket，在服务端，多路复用器会将这些事件消息放入队列中，然后通过文件事件分派器，转发到不同的事件处理器。**内核会监视多路复用器负责的所有socket，当有任何一个socket的数据准备好了，多路复用器就会返回，这时候用户在调用read操作，把数据从内核空间拷贝到用户空间。**

redis里面一个进程可以等待多个文件数据的准备，哪个准备好了就返回哪个socket.  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3MTg1MTUwMjg_size_16_color_FFFFFF_t_70 2]

*  总结来说  
    \*\*客户端在连接的时候，会产生不同事件的socket，这些socket会注册到一个多路复用器中，内核会监视多路复用器负责的所有socket，当有任何一个socket的数据准备好了，多路复用器就会返回，这时候用户在调用read操作，把数据从内核空间拷贝到用户空间。\*\*这个基于epoll模型的时间驱动，socket的可读、可写事件\[1\] ，所以服务端可以知道哪个事件有没有出发。  
    linux的实现就是epoll

# 事件驱动 #

如果redis不阻塞等命令来，是怎么知道“网络包有数据了”、“下次能给时”这两个时机？ 如果一直去轮训问肯定效率很低，要有个高效的机制，来通知redis这两个时刻，由这些时刻来触发动作。 这就是事件驱动。  
一个新TCP包来了、可以再次发给客户端数据这两个时机都是事件。与之对应的就是redis和客户端之间socket的可读、可写事件\[1\] ，就像微信聊天中新消息提醒一样。 linux中的epoll就是干这个事的，redis基于epoll等机制抽象出了一套事件驱动框架\[2\]，整个server完全由事件驱动，有事件发生就处理，没有就空闲等待。

# 单线程？ #

redis单线程是指处理请求的线程。实际上redis里面还是有其他辅助线程，比如清理空间等。

*  redis6.0之后多线程  
    这个多线程并不是处理请求命令变成了多线性，命令的处理仍然是单线程操作，只是将数据的读、写过程变成了多线程。

# 上下文切换 #

计算机只有4核，为什么能同事跑成百上千的任务。  
其实这些任务并不是同时一起执行，而且交替的并发执行。  
操作系统可以将一些进行挂起、运行，对进程进行调度。  
挂起、恢复叫进程的切换

什么叫上线文？  
任务运行的时前，cpu需要知道任务从哪里加载，从哪里开始执行，也就是说需要系统预先帮他设置好cpu的寄存器、程序计数器，这个叫做cpu的上线文。  
这些上下文会保存在系统中，任务重新调度执行时候再次加载进来。 这样就能保证原本的任务不收影响，切换上线文是一个很消耗资源的操作。

# 文件描述符 #

linux是一个文件系统，一切都是文件组成，文件描述符是内核为了方便管理已经打开的文件而创建的索引，用于指向被打开的文件，所有执行I/O操作的系统调用都的通过文件描述符。  
文件描述符是一个简单的非负整数，用以表明每个被进程打开的文件，linux系统里面有三个标准的文件描述符。

# 内存回收 #

**redis内存满了怎么办？redis的内存回收**

## 过期策略 ##

1.  立即过期（主动淘汰）  
    每个key创建一个定时器，过期删除，这样会占用cpu。
2.  惰性过期  
    访问的时候再判断有没有过期。或者redis写的时候，会释放一些内存
3.  定期过期。  
    没隔一段时间，会扫描一定数据的那些设置了过期时间的key，过期的删除。

**如果内存达到极限了，也没有可以删除的了怎么办？**

## 淘汰策略 ##

内存达到极限了，也没有可以删除的了，这里会进行一些内存淘汰。  
先解释两个名词：

*  LRU ： least Recently used
 *  LFU: least Frequently used，最不常用，按照使用频率删除 。

1.  valatile-LRU，基于LRU算法，判断**最近使用**的时间，距离目前最远的数据淘汰，针对哪些设置了过期的时间的key，
2.  allkeys-LRU，基于LRU算法，判断最近时间的时间，淘汰最远的数据，针对所有key
3.  volatile-LFU，淘汰最不常使用的，针对设置了过期时间key，
4.  allkeys-LFU，淘汰最不常使用的，针对所有key
5.  volatile-random ，随机选择key删除，针对带有过期时间的
6.  allkeys-random ，随机选择key删除，针对所有key
7.  vollatile-ttl ，删除最近将要过期的数据
8.  默认策略 noeviction， 不会删除任何数据，拒绝写入操作，并返回客户端错误，此时redis只响应读操作。

# LRU实现原理 #

通过链表和hashmap实现，如果新增或者被访问，就移动到头结点，超过链表长度，尾节点就删除。

# redis 发布订阅 #

redis也有发布订阅功能， 发布订阅不会持久化数据，会存在数据丢失问题

[Link 1]: https://blog.csdn.net/a718515028/article/details/108363499
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3MTg1MTUwMjg_size_16_color_FFFFFF_t_70]: /images/20221021/b27d54b3f4044bbc8e9771cc120dbf7f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3MTg1MTUwMjg_size_16_color_FFFFFF_t_70 1]: /images/20221021/cc8f303b29c84dcb826b3d7a533961be.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3MTg1MTUwMjg_size_16_color_FFFFFF_t_70 2]: /images/20221021/2e1e0c5d33e1422aa95100b019730f67.png