Flyway数据库版本控制与数据迁移工具

ゝ一世哀愁。 2022-10-16 04:51 344阅读 0赞

**目录**

为什么要进行数据库迁移？

Flyway的运作方式

Flyway的优势是什么?

Flyway使用简介

集成SpringBoot

常见问题

--------------------

官网地址： [https://flywaydb.org/][https_flywaydb.org]

Flyway是一个开源数据库迁移工具。与配置相比，它极力主张简单性和约定性。

它仅基于7个基本命令： [迁移][Link 1]， [清理][Link 2]， [信息][Link 3]， [验证][Link 4]， [撤消][Link 5]， [基线][Link 6]和 [修复][Link 7]。

可以使用[SQL][] （支持特定于数据库的语法（例如PL / SQL，T-SQL等））或[Java][] （用于高级数据转换或处理LOB）编写迁移。

它具有一个[命令行客户端][Link 8]。如果您使用的是JVM，建议您在应用程序启动时使用[Java API][]（也适用于Android）迁移数据库。或者，您也可以使用[Maven插件][Maven] 或[Gradle插件][Gradle]。

如果还不够，那么可以 使用Spring Boot，Dropwizard，Grails，Play，SBT，Ant，Griffon，Grunt，Ninja等[插件][Link 9]！

支持的数据库包括 [Oracle][]， [SQL Server（包括Amazon RDS和Azure SQL数据库）][SQL Server_Amazon RDS_Azure SQL]， [Azure Synapse（以前称为数据仓库）][Azure Synapse]， [DB2][]， [MySQL][]（包括Amazon RDS，Azure数据库和Google Cloud SQL）， [Aurora MySQL][]， [MariaDB][]， [Percona XtraDB集群][Percona XtraDB]， [TestContainers][]， [PostgreSQL][]（包括Amazon RDS，Azure数据库，Google Cloud SQL和Heroku）， [Aurora PostgreSQL][]， [Redshift][]， [CockroachDB][]， [SAP HANA][]， [Sybase ASE][]， [Informix][]， [H2][]， [HSQLDB][]， [Derby][]， [Snowflake][]， [SQLite][]和 [Firebird][]。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70][]

# 为什么要进行数据库迁移？ #

首先，让我们从头开始，并假设我们有一个名为*Shiny*的项目，其主要交付项目是一个名为*Shiny Soft的软件*，该*软件*连接到名为*Shiny DB的数据库*。

代表这一点的最简单的图可能看起来像这样：

![b0069762ec7e3037b1ad624d4b863bb0.png][]

我们拥有我们的软件和数据库。伟大的。这很可能就是您所需要的。

但是在大多数项目中，这种简单的世界观很快就会转化为：

![9a80a77b668cadb384aec538c5891f1e.png][]

现在，我们不仅要处理我们环境的一个副本，还要处理几个环境。这提出了许多挑战。

**我们非常擅长在代码方面解决它们。**

*  现在，版本控制已普遍存在，并且每天都有更好的工具。
 *  我们拥有可复制的版本和持续集成。
 *  我们有明确定义的发布和部署过程。

![fbeff69c1ed7fd955c8551ffe540c861.png][]

**但是数据库呢？**

![9fc213bd42dfeee8f3bfd8364eb99c05.png][]

不幸的是，我们在那里做得不好。许多项目仍然依赖手动应用的sql脚本。有时甚至不行（这里或那里的快速sql语句可解决问题）。很快出现了许多问题：

*  该计算机上的数据库处于什么状态？
 *  此脚本是否已被应用？
 *  之后，生产中的快速修复是否已在测试中得到应用？
 *  如何设置新的数据库实例？

这些问题的答案通常是：我们不知道。

**数据库迁移是重新获得对这一混乱局面的控制的好方法。**

他们使您能够：

*  从头开始创建数据库
 *  随时清楚数据库所处的状态
 *  确定性地从当前数据库版本迁移到较新版本

# Flyway的运作方式 #

最简单的情况是将**Flyway**指向**空数据库**。

![8275d7b3b695ce3544f2aa1434ca512a.png][]

它将尝试找到其**架构历史记录表**。由于数据库为空，因此Flyway找不到它， 而是**创建**它。  
  
现在，您有了一个数据库， 默认情况下有一个名为*flyway\_schema\_history*的空表：

![14a30e7ef2e1d5dedf3639a18bc25794.png][]

该表将用于跟踪数据库的状态。

之后，Flyway将立即开始**扫描**文件系统或应用程序的类路径以进行**迁移**。它们可以用Sql或Java编写。

然后，根据迁移的**版本号**对迁移进行**排序**并按顺序应用：

![4d098e8b90c7e0a20decf45e20340a41.png][]

应用每个迁移时，架构历史记录表将相应更新：

flyway\_schema\_history

<table> 
 <tbody> 
  <tr> 
   <th style="text-align:left;vertical-align:top;">installed_rank</th> 
   <th style="text-align:left;vertical-align:top;">版本</th> 
   <th style="text-align:left;vertical-align:top;">描述</th> 
   <th style="text-align:left;vertical-align:top;">类型</th> 
   <th style="text-align:left;vertical-align:top;">脚本</th> 
   <th style="text-align:left;vertical-align:top;">校验和</th> 
   <th style="text-align:left;vertical-align:top;">已安装</th> 
   <th style="text-align:left;vertical-align:top;">已安装</th> 
   <th style="text-align:left;vertical-align:top;">执行时间处理时间</th> 
   <th style="text-align:left;vertical-align:top;">成功</th> 
  </tr> 
  <tr> 
   <td style="background-color:#ffffff;border-color:#dddddd;vertical-align:top;">1个</td> 
   <td style="background-color:#ffffff;border-color:#dddddd;vertical-align:top;">1个</td> 
   <td style="background-color:#ffffff;border-color:#dddddd;vertical-align:top;">初始设置</td> 
   <td style="background-color:#ffffff;border-color:#dddddd;vertical-align:top;">的SQL</td> 
   <td style="background-color:#ffffff;border-color:#dddddd;vertical-align:top;">V1__Initial_Setup.sql</td> 
   <td style="background-color:#ffffff;border-color:#dddddd;vertical-align:top;">1996767037</td> 
   <td style="background-color:#ffffff;border-color:#dddddd;vertical-align:top;">轴</td> 
   <td style="background-color:#ffffff;border-color:#dddddd;vertical-align:top;">2016-02-04 22：23：00.0</td> 
   <td style="background-color:#ffffff;border-color:#dddddd;vertical-align:top;">546</td> 
   <td style="background-color:#ffffff;border-color:#dddddd;vertical-align:top;">真的</td> 
  </tr> 
  <tr> 
   <td style="background-color:#ffffff;border-color:#dddddd;vertical-align:top;">2个</td> 
   <td style="background-color:#ffffff;border-color:#dddddd;vertical-align:top;">2个</td> 
   <td style="background-color:#ffffff;border-color:#dddddd;vertical-align:top;">最初的变化</td> 
   <td style="background-color:#ffffff;border-color:#dddddd;vertical-align:top;">的SQL</td> 
   <td style="background-color:#ffffff;border-color:#dddddd;vertical-align:top;">V2__First_Changes.sql</td> 
   <td style="background-color:#ffffff;border-color:#dddddd;vertical-align:top;">1279644856</td> 
   <td style="background-color:#ffffff;border-color:#dddddd;vertical-align:top;">轴</td> 
   <td style="background-color:#ffffff;border-color:#dddddd;vertical-align:top;">2016-02-06 09：18：00.0</td> 
   <td style="background-color:#ffffff;border-color:#dddddd;vertical-align:top;">127</td> 
   <td style="background-color:#ffffff;border-color:#dddddd;vertical-align:top;">真的</td> 
  </tr> 
 </tbody> 
</table>

通过元数据和初始状态，我们现在可以讨论**迁移到较新的版本**。

Flyway将再次扫描文件系统或应用程序的类路径以进行迁移。对照架构历史记录表检查迁移。如果它们的版本号小于或等于标记为当前版本的版本号之一，则将忽略它们。  
  
其余迁移是**待处理的迁移**：可用，但未应用。

![fb624f79e355bb5260e975b9f925d71f.png][]

然后**按版本号对**它们进行**排序**并按**顺序执行**：

![a59a17e33d1b6a36e5bcbcedbecd6490.png][]

该**模式历史表**的**更新，**因此：

flyway\_schema\_history

**就是这样！**每当需要发展数据库时，无论是结构（DDL）还是参考数据（DML），都只需创建一个版本号高于当前版本的新迁移即可。下次Flyway启动时，它将找到它并相应地升级数据库。

#  Flyway的优势是什么? #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 1][]

# [Flyway使用简介][Flyway]  #

## 集成SpringBoot ##

1.添加依赖

<dependency>
    <groupId>org.flywaydb</groupId>
    <artifactId>flyway-core</artifactId>
    <version>5.1.1</version>
    </dependency>
    
    添加插件：
    <plugin>
    <groupId>org.flywaydb</groupId>
    <artifactId>flyway-maven-plugin</artifactId>
    <version>5.1.1</version>
    </plugin>

2.命名规范  
sql 脚本存放目录:src/main/resources/db/migration  
对应一个程序版本的多个脚本，从1开始，比如1.0.9版本，有多个任务：张三负责a任务（tapd号为1111111），李四负责b任务（tapd号为222222），他们的任务都涉及到db更新他们会分别创建两个脚本：  
V1.0.9.0.1\_\_1111111.sql  
V1.0.9.0.2\_\_222222.sql  
说明：V大写，中间是两个下划线（\_\_）

## 常见问题 ##

1、可以基于环境变量，实现不同的环境，做不同的初始化脚本吗？  
 基于我们的配置中 心，可以对flyway.locations配置进行修改，不同环境的初始化脚本可以放到不同的目录下。

2、初始化数据过程会发生错误回滚？  
 每 一个sql 文件会有 一个单独的事物，如果单个文件中发 生错误，单个文件的操作会回滚， 比如有1、2、3个 文件，第 二个文件发生错误，第二个文件所有操作将会回滚，第三个文件不会执行。但： Unfortunately, today only DB2, PostgreSQL, Derby, EnterpriseDB and to a certain extent SQL Server support DDL statements  inside a transaction。 所以，建议不要把ddl 文件和dml语句句放到同 一个文件 里，避免不必要的麻烦。

3、多个节点能够并行执行migration吗？  
 当然可以！Flyway使用数据库锁机制（locking technology of your database）来协调多个节点，从而保证多套应用程序可同时执行migration，而且集群控制也可做配置。

4、迁移失败版本号处理

flyway Schema 'order' contains a failed migration to version 0.2.4 !

到对应的schema\_version\_order 表删除失败记录退回修改表的更改。

[https_flywaydb.org]: https://flywaydb.org/
[Link 1]: https://flywaydb.org/documentation/command/migrate
[Link 2]: https://flywaydb.org/documentation/command/clean
[Link 3]: https://flywaydb.org/documentation/command/info
[Link 4]: https://flywaydb.org/documentation/command/validate
[Link 5]: https://flywaydb.org/documentation/command/undo
[Link 6]: https://flywaydb.org/documentation/command/baseline
[Link 7]: https://flywaydb.org/documentation/command/repair
[SQL]: https://flywaydb.org/documentation/concepts/migrations#sql-based-migrations
[Java]: https://flywaydb.org/documentation/concepts/migrations#java-based-migrations
[Link 8]: https://flywaydb.org/documentation/usage/commandline
[Java API]: https://flywaydb.org/documentation/usage/api
[Maven]: https://flywaydb.org/documentation/usage/maven
[Gradle]: https://flywaydb.org/documentation/usage/gradle
[Link 9]: https://flywaydb.org/documentation/plugins
[Oracle]: https://flywaydb.org/documentation/database/oracle
[SQL Server_Amazon RDS_Azure SQL]: https://flywaydb.org/documentation/database/sqlserver
[Azure Synapse]: https://flywaydb.org/documentation/database/azuresynapse
[DB2]: https://flywaydb.org/documentation/database/db2
[MySQL]: https://flywaydb.org/documentation/database/mysql
[Aurora MySQL]: https://flywaydb.org/documentation/database/aurora-mysql
[MariaDB]: https://flywaydb.org/documentation/database/mariadb
[Percona XtraDB]: https://flywaydb.org/documentation/database/xtradb
[TestContainers]: https://flywaydb.org/documentation/database/testcontainers
[PostgreSQL]: https://flywaydb.org/documentation/database/postgresql
[Aurora PostgreSQL]: https://flywaydb.org/documentation/database/aurora-postgresql
[Redshift]: https://flywaydb.org/documentation/database/redshift
[CockroachDB]: https://flywaydb.org/documentation/database/cockroachdb
[SAP HANA]: https://flywaydb.org/documentation/database/saphana
[Sybase ASE]: https://flywaydb.org/documentation/database/sybasease
[Informix]: https://flywaydb.org/documentation/database/informix
[H2]: https://flywaydb.org/documentation/database/h2
[HSQLDB]: https://flywaydb.org/documentation/database/hsqldb
[Derby]: https://flywaydb.org/documentation/database/derby
[Snowflake]: https://flywaydb.org/documentation/database/snowflake
[SQLite]: https://flywaydb.org/documentation/database/sqlite
[Firebird]: https://flywaydb.org/documentation/database/firebird
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70]: /images/20221014/435a998eba57420aa8eec1fa640d570c.png
[b0069762ec7e3037b1ad624d4b863bb0.png]: /images/20221014/ac491750df1b4230b1bd1ba4900dd3a0.png
[9a80a77b668cadb384aec538c5891f1e.png]: /images/20221014/272d18fa5a934fc087785d3924a9a7b3.png
[fbeff69c1ed7fd955c8551ffe540c861.png]: /images/20221014/fe48c0f081d149eab6735e8793ded6d8.png
[9fc213bd42dfeee8f3bfd8364eb99c05.png]: /images/20221014/df1dee308f2847499105d39a322cc35c.png
[8275d7b3b695ce3544f2aa1434ca512a.png]: /images/20221014/1761a97a7e4345fcb6fc483dd062ace2.png
[14a30e7ef2e1d5dedf3639a18bc25794.png]: /images/20221014/ba9b57ac3ae842ffb5d230a8a57a936a.png
[4d098e8b90c7e0a20decf45e20340a41.png]: /images/20221014/d93964a13a274c79812b6d4707883bcc.png
[fb624f79e355bb5260e975b9f925d71f.png]: /images/20221014/b92f747b9fe44846b11ac1fdc660d36b.png
[a59a17e33d1b6a36e5bcbcedbecd6490.png]: /images/20221014/a95a034da3ae4e139af4f17273887dcc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 1]: /images/20221014/92a543de3b234f22bcf6f7c53c9ff575.png
[Flyway]: https://www.cnblogs.com/liuyupen/p/11101594.html