double write buffer——mysql

你的名字 2021-05-12 11:49 513阅读 0赞

MySQL的buffer一页的大小是16K，文件系统一页的大小是4K，也就是说，MySQL将buffer中一页数据刷入磁盘，要写4个文件系统里的页。

![format_png][]

如上图所示，MySQL里page=1的页，物理上对应磁盘上的1+2+3+4四个格。

那么，问题来了，**这个操作并非原子，如果执行到一半断电，会不会出现问题呢？**  
会，这就是所谓的“页数据损坏”。

![format_png 1][]

如上图所示，MySQL内page=1的页准备刷入磁盘，才刷了3个文件系统里的页，掉电了，则会出现：重启后，page=1的页，物理上对应磁盘上的1+2+3+4四个格，数据完整性被破坏。

*画外音：**redo无法修复这类“页数据损坏”的异常，修复的前提是“页数据正确”并且redo日志正常。*

**如何解决这类“页数据损坏”的问题呢？**

很容易想到的方法是，能有一个“副本”，对原来的页进行还原，这个存储“副本”的地方，就是Double Write Buffer。

Double Write Buffer，但它与传统的buffer又不同，它分为**内存**和**磁盘**的两层架构。

*画外音：**传统的buffer，大部分是内存存储；**而DWB里的数据，是需要落地的。*

![format_png 2][]

如上图所示，当有页数据要刷盘时：

**第一步**：页数据先memcopy到DWB的内存里；

**第二步**：DWB的内存里，会先刷到DWB的磁盘上；

**第三步**：DWB的内存里，再刷到数据磁盘存储上；

*画外音：**DWB由128个页构成，容量只有2M。*

步骤2和步骤3要写2次磁盘，这就是“Double Write”的由来。

**DWB为什么能解决“页数据损坏”问题呢？**

假设步骤2掉电，磁盘里依然是1+2+3+4的完整数据。

*画外音：**只要有页数据完整，就能通过redo还原数据。*

假如步骤3掉电，DWB里存储着完整的数据。

所以，一定不会出现“页数据损坏”问题。

*画外音：**写了2次，总有一个地方的数据是OK的。*

自己实验了几十次，仍没能复现“页数据损坏”，在网上找了一个“页数据损坏”时，MySQL重启过程利用DWB修复页数据的图。

![format_png 3][]

可以看到，启动过程中：

（1）InnoDB检测到上一次为异常关闭；

（2）尝试恢复ibd数据，失败；

（3）从DWB中恢复写了一半的页；

能够通过DWB保证页数据的完整性，但毕竟DWB要**写两次磁盘，会不会导致数据库性能急剧降低呢？**

分析DWB执行的三个步骤：

（1）第一步，页数据memcopy到DWB的内存，速度很快；

（2）第二步，DWB的内存fsync刷到DWB的磁盘，属于顺序追加写，速度也很快；

（3）第三步，刷磁盘，随机写，本来就需要进行，不属于额外操作；

另外，128页（每页16K）2M的DWB，会分两次刷入磁盘，每次最多64页，即1M的数据，执行也是非常之快的。

综上，性能会有所影响，但影响并不大。

*画外音：*

*（1）write-ahead-log之所以性能高，就是因为顺序追加写；*

*（2）有第三方测评，评估约10%性能损失；*

更具体的，InnoDB里有两个变量可以查看double write buffer相关的情况：

Innodb\_dblwr\_pages\_written

记录写入DWB中页的数量。

Innodb\_dblwr\_writes

记录DWB写操作的次数。

可以通过：

show global status like "%dblwr%"

来进行查询。

![format_png 4][]

**结尾**

MySQL有很强的**数据安全性机制**：

（1）在异常崩溃时，如果不出现“页数据损坏”，能够通过redo恢复数据；

（2）在出现“页数据损坏”时，能够通过double write buffer恢复页数据；

**double write buffer**：

（1）不是一个内存buffer，是一个内存/磁盘两层的结构，是InnoDB里On-Disk架构里很重要的一部分；

（2）是一个通过写两次，保证页完整性的机制；

知其然，知其所以然。

**思路比结论重要**，希望大家有收获。

[format_png]: /images/20210511/be84a78f622545e484967ca264b87dab.png
[format_png 1]: /images/20210511/ca0b3f10b7d94b758f61d07dea449756.png
[format_png 2]: /images/20210511/53a215275ccb4f09af3fcb144f0787e1.png
[format_png 3]: /images/20210511/7d46519f8817421b8c1fa22b2ddecda2.png
[format_png 4]: /images/20210511/a272a5e4c9f84b5e9e99eded81d0edfe.png

发表评论取消回复

表情：

评论列表（有 0 条评论，513人围观）

还没有评论，来说两句吧...

相关阅读

相关 (五)innodb关键特性之两次写(double Write)

InnoDB存储引擎的关键特性包括：插入缓冲(Insert Buffer) 两次写(double Write) 自适应哈希索引(Adaptive Hash

た入场券/ 2022年12月23日 06:44/ 0 赞/ 115 阅读

相关 java中Double和double的区别

今天遇到这样一个问题： Line 12: error: incompatible types: Double\[\] cannot be converted to doub

超、凢脫俗/ 2022年12月06日 05:24/ 0 赞/ 198 阅读

相关编程回忆之java回忆(double和Double)

在项目当中，我们经常会遇到数据计算，浮点数的计算算是比较经常使用到的，什么是浮点数，说白了就是小数啦。小数我们经常是用double进行声明的，但是我们写代码时候，有时候也用Do

你的名字/ 2022年09月19日 10:42/ 0 赞/ 194 阅读

相关 c/c++: float和double、long double

这两天在写程序，看了一些文章，转过来备忘。原文地址是： [http://topic.csdn.net/u/20090716/10/ce4a7037-3c0d-40ae-af8

缺乏、安全感/ 2022年08月10日 12:55/ 0 赞/ 195 阅读

相关 sftp error: process_write: write failed

现场系统报附件无法上传和下载。附件系统是一个单独的子系统，通过sftp服务上传到存储。 1.拿回weblogic日志分析，后台报了很多无法长传和下载的错误

女爷i/ 2022年07月15日 00:40/ 0 赞/ 166 阅读

相关 fs write

const fs=require('fs'); //文件名，写的内容，编码风格，调函数（如果出现错误，就要抛出） fs.writeFile('./text','this i

以你之姓@/ 2022年05月17日 13:42/ 0 赞/ 163 阅读

相关 JavaScript document write String content writes nothing o

分享一下我老师大神的人工智能教程！零基础，通俗易懂！[http://blog.csdn.net/jiangjunshow][http_blog.csdn.net_jiangju

- 日理万妓/ 2022年04月18日 02:26/ 0 赞/ 132 阅读

相关 double_Keyword

double Java Keyword with Examples The double keyword is used to create a double primi

ゝ一世哀愁。/ 2021年11月05日 08:24/ 0 赞/ 248 阅读

相关 mysql之 double write 浅析

介绍double write之前我们有必要了解partial page write 问题 : InnoDB 的Page Size一般是16KB，其数据校验也是针对

你的名字/ 2021年05月12日 11:55/ 0 赞/ 439 阅读

相关 double write buffer——mysql

MySQL的buffer一页的大小是16K，文件系统一页的大小是4K，也就是说，MySQL将buffer中一页数据刷入磁盘，要写4个文件系统里的页。 ![format_png

你的名字/ 2021年05月12日 11:49/ 0 赞/ 514 阅读