mysql迁移脏日志_mysql的日志模块

爱被打了一巴掌 2023-01-11 08:18 95阅读 0赞

一条sql执行的过程：

连接器-------->分析器------->优化器--------->执行器-------->存储引擎    \#如下图

![8ad4c5df94eb46ac7efa53908f3d4c5f.png][]

不建议使用查询缓存的原因： 如果表有数据更新的话，这张表的缓存都会被清空

redo log日志(重做日志)：

特性：  innodb的引擎层日志，redo log日志大小时固定的(可通过参数设置)，可配置日志个数，可重复写，存储的是脏页，写满后会读入到磁盘(读入的过程称之为刷脏)

一家商店有一个记账板，当赊账顾客多的时候，会临时记录在记账板上，避免频繁去记账本上查找更新对应顾客的信息。等到生意不忙的时候，再将记账板上的信息同步到账本上 。避免高峰期拥堵，提高了工作的效率。

记账板可以看做 redo log  账本可以看做为数据文件，老板的记忆可以看做是内存。

同样，mysql也有这个问题，为了避免更新数据的时候IO成本和查询成本过高，通过WAL技术来避免。WAL技术关键点就是先写日志，后写磁盘，也就是先写记账板，后写账本。

流程：

1.不繁忙情况：  有一条语句需要更新，innodb引擎先记录到redo log中，更新内存，这个时候就算更新完成了。在不繁忙的时候再读入磁盘

2.繁忙情况下：记账板写满，把数据更新到记账本，擦掉记账板。

![fd00462a512684c296c21d9e880cdb6f.png][]

redo log有个好处，可以再数据库发生异常重启保证之前提交的数据不丢失，这个能力成为crash-safe。还有就是将mysql随机写入磁盘转换为了顺序写入磁盘，提升了磁盘的IO性能。

binlog日志：

特性：server层日志，归档日志，记录数据库执行的查询、DML、DDL语句，记录内容是追加写，可以生成多个文件。

redo log   和  binlog 不同：

1、redo log 是innodb引擎特有的，基于innodb引擎层面的日志。 而binlog是server层日志，所有引擎都可以使用。

2、redo log 是物理日志，记录了做了什么操作。而binlog日志是逻辑日志，具体记录了操作语句。

3、redo log 循环写，空间固定会用完。而binlog是可以追加写入生成多个文件的，不会覆盖以前日志。

执行器和innodb引擎执行update语句流程：    update  t  set c=c+1

1、执行器先找引擎拿到ID=2这一行数据。数据在内存直接返回，不在的话先从磁盘读入内存然后返回。

2、执行器拿到引擎给的数据，将c值+1，得到新数据后调用引擎接口写入这条新数据

3、引擎将这条新数据更新到内存中，同时将这条更新操作记录到redo log 里边，此时redo log处于prepare状态。然后通知执行器执行完成了，随时可以提交

4、执行器生成这个操作记录的binlog，并把binlog写入磁盘。

5、执行器调用引擎的提交事务接口，引擎把刚刚写入的redo log状态改成commit状态，更新完成。

图中浅色框表示是在 InnoDB 内部执行的，深色框表示是在执行器中执行的：

![56b4c5b91a4e77e6d2c9e3d710a6441f.png][]

最后三步：  写入redo log，并将其 状态置为：prepare    ----->写binlog------->提交事务，将redo log状态置为：commit   ；这个过程是为了保证redo log 和binlog俩个日志逻辑上数据的一致性，过程称为：俩阶段提交。

如果先写redo log ，在binlog写入之前发生故障重启。恢复后，redo log日志数据写入磁盘，而binlog日志却少了数据，会导致 新做的从库数据缺少。

如果先写binlog   ，在redo log 写入之前发生故障重启，恢复后，拿binlog做了新的从库，会导致从库的数据比主库多数据。

这里涉及到俩个参数：

innodb\_flush\_log\_at\_trx\_commit    \#默认为1  表示每次事务的 redo log 都直接持久化到磁盘

sync\_binlog   \#默认为0   表示每次事务的 binlog 都持久化到磁盘

在服务器性能  还有  数据的安全性(crash后保证数据都落盘，不丢失)  俩方面 权衡，根据业务需求自行设置。

[8ad4c5df94eb46ac7efa53908f3d4c5f.png]: /images/20221119/59befef050254686819014ab9100b4a2.png
[fd00462a512684c296c21d9e880cdb6f.png]: https://img-blog.csdnimg.cn/img_convert/fd00462a512684c296c21d9e880cdb6f.png
[56b4c5b91a4e77e6d2c9e3d710a6441f.png]: https://img-blog.csdnimg.cn/img_convert/56b4c5b91a4e77e6d2c9e3d710a6441f.png

发表评论取消回复

表情：

评论列表（有 0 条评论，95人围观）

还没有评论，来说两句吧...

相关阅读

相关 mysql迁移脏日志_mysql的日志模块

一条sql执行的过程：连接器-------->分析器------->优化器--------->执行器-------->存储引擎 \如下图 ![8ad4c5df94e

爱被打了一巴掌/ 2023年01月11日 08:18/ 0 赞/ 96 阅读

相关 MySQL日志（二）—— 二进制日志binlog

一、binlog介绍二进制日志（binary log）是MySQL数据库的二进制日志，记录了对MySQL数据库执行更改的所有的DDL和DML操作，但是不

素颜马尾好姑娘i/ 2022年12月01日 11:47/ 0 赞/ 305 阅读

相关 mysql web日志_mysql日志管理

mysql日志管理 mysql的日志分为如下几类: 1.错误日志 1.1记录服务器启动和关闭过程中的信息 1.2记录服务器运行过程中的错误信息. 1.3记录事件调度器

た入场券/ 2022年10月31日 12:13/ 0 赞/ 154 阅读

相关 mysql safe 日志_mysql日志详细解析

转自：http://pangge.blog.51cto.com/6013757/1319304 MySQL日志：主要包含：错误日志、查询日志、慢查询日志、事务日志、二进制

àì夳堔傛蜴生んèń/ 2022年10月25日 01:24/ 0 赞/ 180 阅读

相关 MySQL日志小结

MySQL日志是用于记录MySQL数据库的日常操作和错误信息的文件，包括二进制日志、错误日志、通用查询日志和慢查询日志。二进制日志：用于记录数据库的变化情况，不记录查询语句

待我称王封你为后i/ 2022年09月30日 14:53/ 0 赞/ 122 阅读

相关 457-MySQL(日志)

在之前，我们已经讲了MySQL事务日志：redo log 和 undo log（是InnoDB engine存储引擎生成的）作为一个mysql client 来发起一个连

墨蓝/ 2022年09月07日 04:00/ 0 赞/ 302 阅读

相关 mysql 日志详解

目录 1、日志分类 2、各种日志介绍 1、日志分类错误日志查询日志慢查询日志事务日志二进制日志中继日志 2、各种日志介绍 2.

青旅半醒/ 2022年08月10日 09:35/ 0 赞/ 130 阅读

相关 Mysql日志管理

Mysql日志管理 > Mysql日志分为：二进制文件、错误日志、删除日志文件 > > 在Mysql软件所支持的日志文件里。除了二进制文件外，其他日志文件都是文本文件

﹏ヽ暗。殇╰゛Y/ 2021年12月24日 03:25/ 0 赞/ 215 阅读

相关 mysql日志模块

一条sql语句更新后，日志会做一些什么操作？当一条sql语句被更新后，查询缓存就会失效，更新语句会把跟这个表的上的缓存都清除掉。分析器知道这是一条sql语句，优化器使用

梦里梦外;/ 2021年12月04日 04:31/ 0 赞/ 241 阅读

相关 MySQL日志详解

MySQL 常见的七种日志文件，分别是：重做日志（redo log）、回滚日志（undo log）、二进制日志（binlog）、错误日志（errorlog）、慢查询日志（

淡淡的烟草味﹌/ 2021年09月21日 05:08/ 0 赞/ 293 阅读