mysql原子性和持久性怎么保证

我不是女神ヾ 2023-09-25 09:46 13阅读 0赞

## mysql和redis一致性怎么解决 ##

通过mysql binlog可以解决.

![mysql原子性和持久性怎么保证\_mysql如何保证一致性和持久性][mysql_mysql]

## MySQL实战问题03 mysql如何保证主备一致 ##

MySQL主备的基本原理主备流程切换

在状态1中，客户端的读写都直接访问节点A，而节点B是A的备库，只是将A的更新都同步过来，到本地执行。这样可以保持节点B和A的数据是相同的

当需要切换的时候，就切成状态2。这时候客户端读写访问的都是节点B，而节点A是B的备库。

M-S模式中,为什么建议把备库设为readonly?有时候一些运营类的查询语句会被放到备库上去查，设置为只读可以防止误操作；防止切换逻辑有bug，比如切换过程中出现双写，造成主备不一致可以用readonly状态，来判断节点的角色。把备库设置成只读了，还怎么跟主库保持同步更新呢？

因为readonly设置对超级(super)权限用户是无效的，而用于同步更新的线程，就拥有超级权限。

节点A到B这条线的内部流程是什么样的

下图画出的就是一个update语句在节点A执行，然后同步到节点B的完整流程图

备库B跟主库A之间维持了一个长连接。主库A内部有一个线程，专门用于服务备库B的这个长连接

一个事务日志同步的完整过程是这样的:在备库B上通过changemaster命令，设置主库A的IP、端口、用户名、密码，以及要从哪个位置开始请求binlog，这个位置包含文件名和日志偏移量。在备库B上执行startslave命令，这时候备库会启动两个线程，就是图中的io\_thread和sql\_thread。其中io\_thread负责与主库建立连接。主库A校验完用户名、密码后，开始按照备库B传过来的位置，从本地读取binlog，发给B。备库B拿到binlog后，写到本地文件，称为中转日志(relaylog)。sql\_thread读取中转日志，解析出日志里的命令，并执行。binlog的三种格式对比

三种格式分别是:statementrowmixed

为了便于描述binlog的这三种格式间的区别,创建并初始化一个表

mysql>CREATETABLE\`t\`(\`id\`int(11)NOTNULL,\`a\`int(11)DEFAULTNULL,\`t\_modified\`timestampNOTNULLDEFAULTCURRENT\_TIMESTAMP,PRIMARYKEY(\`id\`),KEY\`a\`(\`a\`),KEY\`t\_modified\`(\`t\_modified\`))ENGINE=InnoDB;insertintotvalues(1,1,'2018-11-13');insertintotvalues(2,2,'2018-11-12');insertintotvalues(3,3,'2018-11-11');insertintotvalues(4,4,'2018-11-10');insertintotvalues(5,5,'2018-11-09');

删除一行,分析binlog

mysql>deletefromt/\*comment\*/wherea>=4andt\_modified<='2018-11-10'limit1;查询binlog命令:mysql>showbinlogeventsin'master.000001';当binlog\_format=statement时

binlog里面记录的就是SQL语句的原文:

分析一下上图输出的结果:第一行可以先忽略.第二行是一个BEGIN，跟第四行的commit对应，表示中间是一个事务；第三行是真实的执行语句,在delete命令前,还有一个usetest命令,是mysql自动添加的.最后一行是一个COMMIT,包含一个xid.如果使用statement格式,记录到binlog的是语句原文.会有什么问题出现呢?

如果delete带有limit,很可能出出现住主备数据库不一致的情况

在主库执行这条SQL语句的时候，用的是索引a；而在备库执行这条SQL语句的时候，却使用了索引t\_modified

当binlog\_format=

与statement相比,begin与commit是一致的,但是row格式没有记录原文,而是替换成了两个event,粉笔是table\_map与delete\_rows

Table\_mapevent，用于说明接下来要操作的表是test库的表t;Delete\_rowsevent，用于定义删除的行为。使用mysqlbinlog工具分析解析binlog中内容mysqlbinlog-vvdata/master.000001--start-position=8900;

解析结果:

serverid1，表示这个事务是在server\_id=1的这个库上执行的。每个event都有CRC32的值，这是因为参数binlog\_checksum设置成了CRC32。Table\_mapevent显示了接下来要打开的表，map到数字226。现在我们这条SQL语句只操作了一张表，如果要操作多张表呢？每个表都有一个对应的Table\_mapevent、都会map到一个单独的数字，用于区分对不同表的操作。在mysqlbinlog的命令中，使用了-vv参数是为了把内容都解析出来，所以从结果里面可以看到各个字段的值(比如，@1=4、@2=4这些值)。binlog\_row\_image的默认配置是FULL，因此Delete\_event里面，包含了删掉的行的所有字段的值。如果把binlog\_row\_image设置为MINIMAL，则只会记录必要的信息，在这个例子里，就是只会记录id=4这个信息。最后的Xidevent，用于表示事务被正确地提交了。为什么会有mixed格式的binlog？为什么会有mixed这种binlog格式的存在场景？因为有些statement格式的binlog可能会导致主备不一致，所以要使用row格式。但row格式的缺点是，很占空间。比如你用一个delete语句删掉10万行数据，用statement的话就是一个SQL语句被记录到binlog中，占用几十个字节的空间。但如果用row格式的binlog，就要把这10万条记录都写到binlog中。这样做，不仅会占用更大的空间，同时写binlog也要耗费IO资源，影响执行速度。所以，MySQL就取了个折中方案，也就是有了mixed格式的binlog。mixed格式的意思是，MySQL自己会判断这条SQL语句是否可能引起主备不一致，如果有可能，就用row格式，否则就用statement格式。如何解决双M结构的循环复制问题解决两个节点间的循环复制的问题的逻辑规定两个库的serverid必须不同，如果相同，则它们之间不能设定为主备关系；一个备库接到binlog并在重放的过程中，生成与原binlog的serverid相同的新的binlog；每个库在收到从自己的主库发过来的日志后，先判断serverid，如果跟自己的相同，表示这个日志是自己生成的，就直接丢弃这个日志。按照这个逻辑，如果我们设置了双M结构，日志的执行流就会变成这样：从节点A更新的事务，binlog里面记的都是A的serverid；传到节点B执行一次以后，节点B生成的binlog的serverid也是A的serverid；再传回给节点A，A判断到这个serverid与自己的相同，就不会再处理这个日志。所以，死循环在这里就断掉了。

## 请问ebay是如何在高并发的环境下保证数据的一致性？如何选择数据? ##

We have a number of data sharding patterns. One common pattern is to shard based on the primary key modulo. For example, we distribute our items to multiple databases based on the item ID.

![mysql原子性和持久性怎么保证\_mysql如何保证一致性和持久性\_02][mysql_mysql_02]

## 生产的电子产品如何保证它的统一性和一致？生产的电子产品如何保证它 ##

一个大量生产的电子产品要保证它的统一性和一致性，就必须有一个相应的生产标准(技术文件、生产工艺文件和检验文件)，这在一些较正规的产品生产中采用已是常见的事，但是这些标准只是指导生产和保证产品质量的一致性和统一性用的，而无其它意义，一个企业的生产标准只对本企业的具体产品有用，而对其它企业无用，对产品的艺术性和声音的音质也无意义

## 怎么避免mysql从库同步 怎么保证数据一致性 ##

我们常常把MySQL replication说成是MySQL同步(sync)，但事实上这个过程是异步(async)的。大概过程是这样的：

在master上提交事务后，并且写入binlog，返回事务成功标记；

将binlog发送到slave，转储成relay log；

在slave上再将relay log读取出来应用。

步骤1和步骤3之间是异步进行的，无需等待确认各自的状态，所以说MySQL replication是异步的。

MySQL semi-sync replication在之前的基础上做了加强完善，整个流程变成了下面这样：

首先，master和至少一个slave都要启用semi-sync replication模式；任务占坑

![mysql原子性和持久性怎么保证\_mysql如何保证一致性和持久性\_03][mysql_mysql_03]

## 数据库中的一致性和可维护性是啥意思？ ##

数据库一致性(Database Consistency)是指事务执行的结果必须是使数据库从一个一致性状态变到另一个一致性状态。保证数据库一致性是指当事务完成时，必须使所有数据都具有一致的状态。在关系型数据库中，所有的规则必须应用到事务的修改上，以便维护所有数据的完整性这个问题的有趣之处，不在于问题本身(“原子性、一致性的实现机制是什么”)，而在于回答者的分歧反映出来的另外一个问题：原子性和一致性之间的关系是什么？

我特别关注了@我练功发自真心

的答案，他正确地指出了，为了保证事务操作的原子性，必须实现基于日志的redo/undo机制。但这个答案仍然是不完整的，因为原子性并不能够完全保证一致性。

按照我个人的理解，在事务处理的acid属性中，一致性是最基本的属性，其它的三个属性都为了保证一致性而存在的。

首先回顾一下一致性的定义。所谓一致性，指的是数据处于一种有意义的状态，这种状态是语义上的而不是语法上的。最常见的例子是转帐。例如从帐户a转一笔钱到帐户b上，如果帐户a上的钱减少了，而帐户b上的钱却没有增加，那么我们认为此时数据处于不一致的状态。

数据库实现的场景中，一致性可以分为数据库外部的一致性和数据库内部的一致性。前者由外部应用的编码来保证，即某个应用在执行转帐的数据库操作时，必须在

同一个事务内部调用对帐户a和帐户b的操作。如果在这个层次出现错误，这不是数据库本身能够解决的，也不属于我们需要讨论的范围。后者由数据库来保证，即

在同一个事务内部的一组操作必须全部执行成功(或者全部失败)。这就是事务处理的原子性。

为了实现原子性，需要通过日志：将所有对

数据的更新操作都写入日志，如果一个事务中的一部分操作已经成功，但以后的操作，由于断电/系统崩溃/其它的软硬件错误而无法继续，则通过回溯日志，将已

经执行成功的操作撤销，从而达到“全部操作失败”的目的。最常见的场景是，数据库系统崩溃后重启，此时数据库处于不一致的状态，必须先执行一个crash

recovery的过程：读取日志进行redo(重演将所有已经执行成功但尚未写入到磁盘的操作，保证持久性)，再对所有到崩溃时尚未成功提交的事务进行

undo(撤销所有执行了一部分但尚未提交的操作，保证原子性)。crash

recovery结束后，数据库恢复到一致性状态，可以继续被使用。

日志的管理和重演是数据库实现中最复杂的部分之一。如果涉及到并行处理和分布式系统(日志的复制和重演是数据库高可用性的基础)，会比上述场景还要复杂得多。

但是，原子性并不能完全保证一致性。在多个事务并行进行的情况下，即使保证了每一个事务的原子性，仍然可能导致数据不一致的结果。例如，事务1需要将100元转入帐号a：先读取帐号a的值，然后在这个值上加上100。但是，在这两个操作之间，另一个事务2修改了帐号a的值，为它增加了100元。那么最后的结果应该是a增加了200元。但事实上，

事务1最终完成后，帐号a只增加了100元，因为事务2的修改结果被事务1覆盖掉了。

为了保证并发情况下的一致性，引入了隔离性，即保证每一个事务能够看到的数据总是一致的，就好象其它并发事务并不存在一样。用术语来说，就是多个事务并发执行后的状态，和它们串行执行后的状态是等价的。怎样实现隔离性，已经有很多人回答过了，原则上无非是两种类型的锁：

种是悲观锁，即当前事务将所有涉及操作的对象加锁，操作完成后释放给其它对象使用。为了尽可能提高性能，发明了各种粒度(数据库级/表级/行级……)/各

种性质(共享锁/排他锁/共享意向锁/排他意向锁/共享排他意向锁……)的锁。为了解决死锁问题，又发明了两阶段锁协议/死锁检测等一系列的技术。

一种是乐观锁，即不同的事务可以同时看到同一对象(一般是数据行)的不同历史版本。如果有两个事务同时修改了同一数据行，那么在较晚的事务提交时进行冲突

检测。实现也有两种，一种是通过日志undo的方式来获取数据行的历史版本，一种是简单地在内存中保存同一数据行的多个历史版本，通过时间戳来区分。

锁也是数据库实现中最复杂的部分之一。同样，如果涉及到分布式系统(分布式锁和两阶段提交是分布式事务的基础)，会比上述场景还要复杂得多。

我练功发自真心

提到，其他回答者说的其实是操作系统对atomic的理解，即并发控制。我不能完全同意这一点。数据库有自己的并发控制和锁问题，虽然在原理上和操作系统

中的概念非常类似，但是并不是同一个层次上的东西。数据库中的锁，在粒度/类型/实现方式上和操作系统中的锁都完全不同。操作系统中的锁，在数据库实现中

称为latch(一般译为闩)。其他回答者回答的其实是“在并行事务处理的情况下怎样保证数据的一致性”。

最后回到原来的问题(“原子性、一致性的实现机制是什么”)。我手头有本database

system

concepts(4ed，有点老了)，在第15章的开头简明地介绍了acid的概念及其关系。如果你想从概念上了解其实现，把这本书的相关章节读完应该能大概明白。如果你想从实践上了解其实现，可以找innodb这样的开源引擎的源代码来读。不过，即使是一个非常粗糙的开源实现(不考虑太复杂的并行处理，不考虑分布式系统，不考虑针对操作系统和硬件的优化之类)，要基本搞明白恐怕也不是一两年的事。

[mysql_mysql]: https://img1.baidu.com/it/u=55792276,3256543845&fm=15&fmt=auto
[mysql_mysql_02]: https://img1.baidu.com/it/u=3651260087,1073265942&fm=26&fmt=auto
[mysql_mysql_03]: https://img2.baidu.com/it/u=1886943856,237312251&fm=15&fmt=auto