java八股文面试[数据库]——BufferPool

待我称王封你为后i 2024-03-08 06:28 120阅读 0赞

Buffer Pool是MYSQL数据库中的一个重要的**内存组件**，介于**外部系统**和**存储引擎**之间的一个**缓存区**，针数据库的增删改查这些操作都是针对这个内存数据结构中的缓存数据执行的,在操作数据之前，都会将数据从磁盘加载到Buffer Pool中，操作完成之后**异步刷盘**、写undo log、binlog、redolog等一些列操作，**避免每次访问都进行磁盘IO影响性能**。

![62786136c1d0411d84bb2a260d7b114d.png][]

###### Buffer Pool基本概念 ######

Buffer Pool：缓冲池，简称BP。其作用是用来**缓存表数据**与**索引数据**，**减少磁盘IO**操作，提升效率。

Buffer Pool由 **缓存数据页(Page)** 和 对缓存数据页进行**描述**的**控制块**组成, 控制块中存储着对应缓存页的所属的 **表空间**、**数据页**的编号、以及对应缓存页在Buffer Pool中的地址等信息.

Buffer Poo**l默认大小是128M**, 以Page页为**单位**，Page页默认大小**16K**，而控制块的大小约为数据页的**5%**，大概是800字节。

![image.png][]

注: Buffer Pool大小为128M指的就是**缓存页的大小**，控制块则一般占5%，所以每次会**多申请6M**的内存空间用于存放控制块

MySQl中有一个**哈希表数据结构**，它使用**表空间号+数据页号**，作为一个**key**，然后**缓冲页**对应的**控制块**作为value。

![image.png][image.png 1]

*  当需要访问某个页的数据时，先从哈希表中根据表空间号+页号看看是否存在对应的**缓冲页**。
 *  如果有，则直接使用；如果没有，就从**free链表**中选出一个空闲的缓冲页，然后把磁盘中对应的页加载到该缓冲页的位置

###### InnoDB如何管理Page页？ ######

Page页分类

BP的底层采用**链表数据结构**管理Page。在InnoDB访问**表记录和索引**时会在Page页中缓存，以后使用可以减少磁盘IO操作，提升效率。

Page根据状态可以分为**三种类型**

![image.png][image.png 2]

\* free page ： 空闲page，未被使用  
\* clean page：被使用page，数据没有被修改过  
\* dirty page：脏页，被使用page，数据**被修改过**，Page页中数据和磁盘的数据产生了不一致

Page页如何管理

针对上面所说的三种page类型，InnoDB通过**三种链表结构**来维护和管理

1. **free list**：表示**空闲缓冲区**，管理free page

free链表是把所有**空闲的**缓冲页对应的控制块作为一个个的节点放到一个链表中，这个链表便称之为free链表  
基节点: free链表中**只有一个基节点**是**不记录缓存页信息**(单独申请空间)，它里面就存放了free链表的**头节点**的地址，**尾节点**的地址，还有free链表里当前有**多少个**节点。

![image.png][image.png 3]

**2.flush list**： 表示需要**刷新到磁盘**的缓冲区，管理**dirty** page，内部page按**修改时间排序**。

*  InnoDB引擎为了提高处理效率，在每次修改缓冲页后，并不是立刻把修改刷新到磁盘上，而是在**未来的某个时间点**进行刷新操作. 所以需要使用到flush链表存储脏页，凡是被修改过的缓冲页对应的控制块都会作为节点加入到flush链表.
 *  flush链表的结构与free链表的结构相似

![image.png][image.png 4]

**3.lru list**：表示正**在使用**的缓冲区，**管理clean page和dirty page**，缓冲区以**midpoint**为基点，前面链表称为**new列表区**，存放**经常访问**的数据，占63%；后面的链表称为old列表区，存放使用较少数据，占37%

![image.png][image.png 5]

###### 为什么写缓冲区，仅适用于非唯一普通索引页？ ######

**change Buffer基本概念**

Change Buffer：写缓冲区,是针对**二级索引**(辅助索引) 页的更新优化措施。

作用: 在进行**DML操作时**，如果请求的辅助索引（二级索引）没有在缓冲池中时，并不会立刻将磁盘页加载到缓冲池，而是在**CB记录缓冲变更**，等未来数据被读取时，再将数据合并恢复到BP中。

![image.png][image.png 6]

1.  ChangeBuffer用于存储SQL**变更操作**，比如Insert/Update/Delete等SQL语句
2.  ChangeBuffer中的每个变更操作都有其**对应的数据页**，并且该数据页**未加载到缓存中**；
3.  当ChangeBuffer中变更操作对应的数据页加载到缓存中后，InnoDB会把变更操作**Merge**到数据页上；
4.  InnoDB会**定期加载**ChangeBuffer中操作对应的数据页到缓存中，并Merge变更操作；

**change buffer更新流程**

![image.png][image.png 7]

写缓冲区，仅适用于**非唯一普通索引页**，为什么？

*  如果在索引设置唯一性，在进行修改时，InnoDB必须要做**唯一性校验**，因此**必须查询磁盘**，做一次IO操 作。会直接将记录**查询到BufferPool中**，然后在缓冲池修改，不会在ChangeBuffer操作。

###### MySQL为什么改进LRU算法？ ######

**普通LRU算法**

面试题：设计一个最近最少使用的数据结构。

LRU = Least Recently Used（**最近最少使用**）: 就是**末尾淘汰法**，新数据从链表**头部加入**，释放空间时**从末尾淘汰**.

![image.png][image.png 8]

1.  当要访问某个页时，如果不在Buffer Pool，需要把该页加载到缓冲池,并且把该缓冲页对应的控制块作为节点添加到LRU链表的**头部**。
2.  当要**访问某个页**时，如果在Buffer Pool中，则直接把该页对应的控制块**移动到LRU链表的头部**
3.  当需要释放空间时,**从最末尾淘汰**

**普通LRU链表的优缺点**

优点

*  所有最近使用的数据都在链表表头，最近未使用的数据都在链表表尾,保证热数据能最快被获取到。

缺点

*  如果发生**全表扫描**（比如：没有建立合适的索引 or 查询时使用select \* 等），则有很大可能将真正的热数据**淘汰掉**.
 *  由于MySQL中存在**预读机制**，很多预读的页都会被放到LRU链表的表头。如果这些预读的页都没有用到的话，这样，会导致很多尾部的缓冲页很快就会被淘汰。

![image.png][image.png 9]

**改进型LRU算法**

改进型LRU：将链表分为**new和old两个部分**，加入元素时并不是从表头插入，而是**从中间midpoint位置插入**(就是说从磁盘中新读出的数据会放在**冷数据区的头部**)，如果数据很快被访问，那么page就会向new列表头部移动，如果数据没有被访问，会逐步向old尾部移动，等待淘汰。

![image.png][image.png 10]

冷数据区的数据页什么时候会被转到到热数据区呢 ?

1.  如果该数据页在LRU链表中**存在时间超过1s**，就将其移动到链表头部 ( 链表指的是整个LRU链表)
2.  如果该数据页在LRU链表中存在的时间**短于1s**，其位置不变(由于全表扫描有一个特点，就是它对某个页的频繁访问**总耗时会很短**)
3.  1s这个时间是由参数 **`innodb_old_blocks_time`**控制的

###### Buffer Pool优化建议 ######

###### 1. 调整Buffer Pool内存大小 ######

参数：innodb\_buffer\_pool\_size，内存缓冲区大小，在内存允许的情况下，建议调大该参数值，越多的数据和索引放入缓冲区，查询性能越好。

如何设置生产环境数据库的Buffer Pool的合理内存大小，保证数据库的高性能和高并发能力？

建议调整为机器**内存大小的50%~60%**。

为什么不设大点？因为需要考虑操作系统占用的内存以及其他应用占用的内存、以及MYSQL中其他数据结构占用的内存。

###### 2. 划分多个Buffer Pool区域提升数据库并发性能 ######

在多线程并发访问同一个Buffer Pool时，他们都是访问内存中共享的数据结构，如缓存页、free链表、flush链表的等，此时必然要加锁，导致很多线程必然要串行排队，所以说是在内存中进行排队，延迟很低，但是也是有进一步优化提升性能的空间。

那如何优化呢？

给MYSQL设置**多个Buffer Pool**。

MYSQL默认规则是，如果Buffer Pool**内存空间小于1GB**，最多只分配一个Buffer Pool，如果内存空间较大，则可以设置多个Buffer Pool，配置如下：

\[server\]  
innodb\_buffer\_pool\_size=8589934592  
innodb\_buffer\_pool\_instances=4

上面的配置给Buffer Pool分配了**8GB内存**，设置了**4个Buffer Pool**，每个Buffer Pool大小就是2GB。

这样，多线程并发访问的时候就可以将**压力分摊开来**，多个线程可以在不同的Buffer Pool中进行加锁和执行操作，从而成倍提升多线程并发访问能力。（有点类似于**ConcurrrentHashMap的分段加**锁机制）

知识来源：马士兵教育

[聊聊MySQL中的Buffer Pool - 知乎][MySQL_Buffer Pool -]

[62786136c1d0411d84bb2a260d7b114d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/08/2168171b821547b290fb960fb54085b7.png
[image.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/08/e076a97c157e4239b66bfc98d979c5bc.png
[image.png 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/08/484972c73e4a44e6b2f40fe00d759f25.png
[image.png 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/08/fee2cb70f64a4dafa5b7f183b99bc4a4.png
[image.png 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/08/fee439044f1748a0b23f7f1bff14fe93.png
[image.png 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/08/925997fbf0c545c99b25812815c13615.png
[image.png 5]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/08/44d2e4ede721419fb59bb20270b517cc.png
[image.png 6]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/08/e2e5123d68ed43a4bc2313044a6242e9.png
[image.png 7]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/08/a8d2bb4c5ddb495689f592714242e135.png
[image.png 8]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/08/acf6264434194652b0b0bd7e345f8c51.png
[image.png 9]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/08/bcd65b9ba5f64ef3856f72f45de6b044.png
[image.png 10]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/08/2a83f363ccb04de2a0d24764e9fa82c0.png
[MySQL_Buffer Pool -]: https://zhuanlan.zhihu.com/p/415004185