MySQL存储结构

迷南。 2023-10-09 23:24 35阅读 0赞

#### MySQL存储结构 ####

*  如何保管这些数据的？
 *  MySQL中的磁盘保管数据的结构
 *  表空间的分类
 *  ibd文件
 *  区的结构
 *  组结构
 *  段结构

## 如何保管这些数据的？ ##

![在这里插入图片描述][85fed01b58ae4b73b60d6c5ff3ce0c67.png]  
数据在MySQL中以磁盘和内存两种方式存在。

内存中的数据目的是提升MySQL读写的速度。最终所有数据都会刷到磁盘中。

## MySQL中的磁盘保管数据的结构 ##

不同的存储引擎在磁盘文件上的结构均不一致。

在新表创建的过程中，MySQL的“大脑”InnoDB会在磁盘的data目录下创建与这个表对应的两个文件。  
![在这里插入图片描述][022c3bedfb45437686d920b9490e4c4d.png]  
其中frm文件用来存储表结构等信息，文件相对较小。而ibd文件也就是我们常说的“表空间”文件，它用来存储表的数据和索引，文件大小取决于表中的数据量。  
![在这里插入图片描述][18cdbc5438974f7d88d14d8d982305c6.png]  
特别的，只有在5.7版本之后，才会为每个表生成一个ibd文件，称为“独立表空间”，在此之前，所有表的数据和索引都会存储在“系统表空间”中，“系统表空间也被称为“共享表空间”，即所有表共享一个物理表空间文件。

![在这里插入图片描述][4c8d5e500d7e4fbba5f746a8b953ae66.png]  
我们也可以通过全局参数innodb file per table来进行设置，控制是否为每个表独立创建ibd文件。

## 表空间的分类 ##

![在这里插入图片描述][e4e6c99d8613483899437f2f0dc2d158.png]  
MySQL的表空间共分为5类，包括刚提到的“系统表空间”和“独立表空间”还有“Undo表空间”、“通用表空间”、“临时表空间”。

在MySQL的官方定义中也提到了，“独立表空间”相比“共享表空间”具有可压缩、可传输等优势。

## ibd文件 ##

在ibd文件中，最重要的结构体就是“页”，也就是之前提到的InnoDB中内存和磁盘交互的最小存储单元。

MySQL中每次内存与磁盘交互数据都会至少读写一个“页”。所以在磁盘中每个“页”内部的地址都是连续的。

![在这里插入图片描述][91b93761c86f40da979254f1ac77b2c8.png]  
之所以使用这样的机制，是因为程序员需要查询的数据很多情况下都会连续存在。只需在磁盘中读取一段连续的数据放入内存，后续的查询大概率就可以直接从内存中找到，这样就通过减少了磁盘的访问次数，从而大大提升了效率。这一段固定的连续数据就被称作“页”。

这一段内容连续的“页”大小为固定的16KB，即使没有数据，也会固定占用16KB大小。同时与我们熟知的索引B+树节点对应。

![在这里插入图片描述][74fc733ce3cd4b38951342f2d88e465b.png]  
在不同的场景，会使用不同类型的“页”，一共有12种之多。当然，无论什么类型的“页”，均会包含“页头”File Header和“页尾”File Trailer。介于这两种之间的“主体信息”，会根据不同类型有不同的结构。最为常见的就是用来存储数据和索引的“索引页”，它的主体信息会使用数据“行”进行填充。

在MySQL的官方文档中，行共分为4类，各有特点以应对不同的场景。在5.7版本之后默认为DYNAMIC类型。

![在这里插入图片描述][0f8463ba80c143dabc31df4f64e7c427.png]  
MySQL会程序员提供了查询表中“行类型”的方法。在建表时也可以通过row format参数来指定行类型。

![在这里插入图片描述][c995948ed0b54fea8faeb5aa18ebfd85.png]  
相比“页”的大小为固定值，“行”则不同，它是一个最大为8KB但大小不固定的结构。内部主要包括表里某一行的真实数据和一些额外信息。

MySQL中的所有数据都会通过“行”、“页”的方式存储在磁盘中。但是每一个“页”只有区区16KB。  
![在这里插入图片描述][cd5fcf15202744688878e40276fd62f6.png]  
当MySQL读写量暴增时，跨“页”读取就再正常不过了，如果多个页之间的物理距离过大，那多份数据在磁盘中很有可能不在同一个磁道。

![在这里插入图片描述][604027f022d147fc8146f319f9c9cf8d.png]  
为了读取数据，就会发生磁头移动，这种移动是物理摆动。相比磁盘每分钟几千上万次的旋转读取要缓慢的多。所以磁头移动会大大降低性能。需要尽可能在磁道上读取连续数据，减少磁头的移动，才能提升效率。

## 区的结构 ##

![在这里插入图片描述][1ba97cfbc1ed45b395c5a1341b58922e.png]  
MySQL进化出了名为“区”的结构，MySQL让每个“区”都固定1MB。存放64个地址连续的页，这样的话，即使跨页都相关数据，大概率都在附近地址，很少出现磁头移动。与此同时，如果频繁地读取某个“区”内的“页”，MySQL就会把这一整个“区”都读取出来放入内存中，减少后续查询对磁盘的访问次数。

在程序员创建新表的时候，由于MySQL也不知道这个表未来的数据量级，为了不至于一次性占用多大的磁盘空间而导致浪费。所以，MySQL在新建表时只会创建6个“页”，而不是一个完整的“区”，共占用16\*6共96KB大小。

![在这里插入图片描述][7e2c8bfc743a44d8a457cc2e3b320c99.png]  
在MySQL8.0版本之后初次会创建7个“页”，这些零散“页”会被放在MySQL表空间中一个叫碎片区的地方。

解析了这6个“页”后，可以看到它们各有不同。其中后两个“页”为空闲页，即：可用页。  
![在这里插入图片描述][b134677bb92e48728dc877c7fa080651.png]  
前4个分别记录了表空间和区组条目信息、Change buffer相关信息、段信息、索引根信息。

![在这里插入图片描述][308ec9b04e514b588e33de3bf5034a91.png]  
在MySQL的官网文档中都也有提到。也可以通过创建一个新表来验证一下。  
![在这里插入图片描述][90ac3d8ad6614c4d8b115514484726ef.png]  
可以看到新表创建后，每页的大小PageSize为16834，即16KB。同时表空间的大小FileSize为96KB，即16KB的6倍，对应了6个初始页。

![在这里插入图片描述][c224fb3a00284a49a171f9a99883fb92.png]  
当程序员需要存储的数据越来越多，6个初始页空间已经不够用了。这时，就需要一个一个新增页来满足存储需求。直到构建了32个零散“页”之后，后续每次都会直接申请完整的“区”，来为程序员们存储更多的数据。

## 组结构 ##

MySQL中的“区”会随着程序员业务的扩张而越来越多，为了有效地管理“区”，MySQL又进化出了“组”结构。

![在这里插入图片描述][378ad7b961594838b681f4d159d70c93.png]  
每一个“区组”管理固定256个区，即256MB，它的结构比较简单，就是直接由256个区直接构成。其中第1个“区组”中首个“区”的前4页较为特殊，就是刚提到过的6个初始页中前4个，即File Space Header、Insert Buffer Bitmap、File Segment inode、B-tree Node，而其他“区组”中首个“区”的结构均一致。前2个页分别记录了区组条目信息、Change buffer信息，即Extent Descriptor（XDES）、Insert Buffer Bitmap。MySQL中的InnoDB通过“区组”，可以在物理结构层面非常高效地管理和定位到每个区。

## 段结构 ##

![在这里插入图片描述][cef6604d87e64ba098ee7ed7e039cefe.png]  
不过与“区”、“区组”这种物理结构不同，段是一个逻辑概念，并不对应表空间中的连续物理区域。

可以看成“区”、“页”的一个附加的标注信息。“段”的主要作用是用来区分不同功能的“区”和在碎片区中的“页”，分为“叶子结点段”、“非叶子节点段”等。

这两个“段”与我们常说的B+树索引中的叶子、非叶子结点相对应。也可以简单的理解为“非叶子结点段”存储和管理索引树。“叶子结点段”存储和管理实际数据。  
![在这里插入图片描述][3cb3ebefe59945f0ba22a840ac4091de.png]  
从逻辑上讲，最终由“叶子节点段”、“非叶子节点段”等“段”构成了最终的表空间ibd文件。

**参考资料**：[8分钟精通MySql存储结构][8_MySql]

[85fed01b58ae4b73b60d6c5ff3ce0c67.png]: https://img-blog.csdnimg.cn/85fed01b58ae4b73b60d6c5ff3ce0c67.png
[022c3bedfb45437686d920b9490e4c4d.png]: https://img-blog.csdnimg.cn/022c3bedfb45437686d920b9490e4c4d.png
[18cdbc5438974f7d88d14d8d982305c6.png]: https://img-blog.csdnimg.cn/18cdbc5438974f7d88d14d8d982305c6.png
[4c8d5e500d7e4fbba5f746a8b953ae66.png]: https://img-blog.csdnimg.cn/4c8d5e500d7e4fbba5f746a8b953ae66.png
[e4e6c99d8613483899437f2f0dc2d158.png]: https://img-blog.csdnimg.cn/e4e6c99d8613483899437f2f0dc2d158.png
[91b93761c86f40da979254f1ac77b2c8.png]: https://img-blog.csdnimg.cn/91b93761c86f40da979254f1ac77b2c8.png
[74fc733ce3cd4b38951342f2d88e465b.png]: https://img-blog.csdnimg.cn/74fc733ce3cd4b38951342f2d88e465b.png
[0f8463ba80c143dabc31df4f64e7c427.png]: https://img-blog.csdnimg.cn/0f8463ba80c143dabc31df4f64e7c427.png
[c995948ed0b54fea8faeb5aa18ebfd85.png]: https://img-blog.csdnimg.cn/c995948ed0b54fea8faeb5aa18ebfd85.png
[cd5fcf15202744688878e40276fd62f6.png]: https://img-blog.csdnimg.cn/cd5fcf15202744688878e40276fd62f6.png
[604027f022d147fc8146f319f9c9cf8d.png]: https://img-blog.csdnimg.cn/604027f022d147fc8146f319f9c9cf8d.png
[1ba97cfbc1ed45b395c5a1341b58922e.png]: https://img-blog.csdnimg.cn/1ba97cfbc1ed45b395c5a1341b58922e.png
[7e2c8bfc743a44d8a457cc2e3b320c99.png]: https://img-blog.csdnimg.cn/7e2c8bfc743a44d8a457cc2e3b320c99.png
[b134677bb92e48728dc877c7fa080651.png]: https://img-blog.csdnimg.cn/b134677bb92e48728dc877c7fa080651.png
[308ec9b04e514b588e33de3bf5034a91.png]: https://img-blog.csdnimg.cn/308ec9b04e514b588e33de3bf5034a91.png
[90ac3d8ad6614c4d8b115514484726ef.png]: https://img-blog.csdnimg.cn/90ac3d8ad6614c4d8b115514484726ef.png
[c224fb3a00284a49a171f9a99883fb92.png]: https://img-blog.csdnimg.cn/c224fb3a00284a49a171f9a99883fb92.png
[378ad7b961594838b681f4d159d70c93.png]: https://img-blog.csdnimg.cn/378ad7b961594838b681f4d159d70c93.png
[cef6604d87e64ba098ee7ed7e039cefe.png]: https://img-blog.csdnimg.cn/cef6604d87e64ba098ee7ed7e039cefe.png
[3cb3ebefe59945f0ba22a840ac4091de.png]: https://img-blog.csdnimg.cn/3cb3ebefe59945f0ba22a840ac4091de.png
[8_MySql]: https://www.bilibili.com/video/BV1p14y1p7oT/?spm_id_from=333.337.search-card.all.click&vd_source=a1af903e57688df870625021f7f3a7eb