微服务架构下，解决数据一致性问题的实践

╰半橙微兮° 2022-03-02 01:56 316阅读 0赞

牛旦教育IT课堂 2019-03-19 12:22:00

微服务架构下，解决数据一致性问题的实践

✏️ Pic by Alibaba Tech on Facebook

随着业务的快速发展，应用单体架构暴露出代码可维护性差、容错率低、测试难度大和敏捷交付能力差等诸多问题，微服务应运而生。微服务的诞生一方面解决了上述问题，但是另一方面却引入新的问题，其中主要问题之一就是：如何保证微服务间的业务数据一致性。

本文将通过一个商品采购的业务，来看看在Dubbo的微服务架构下，如何通过Fescar来保障业务的数据一致性。本文所述的例子中，Dubbo 和 Fescar 的注册配置服务中心均使用 Nacos。Fescar 0.2.1+ 开始支持 Nacos 注册配置服务中心。

业务描述

用户采购商品的业务，包含3个微服务:

  • 库存服务: 扣减给定商品的库存数量。
  • 订单服务: 根据采购请求生成订单。
  • 账户服务: 用户账户金额扣减。

业务结构图如下：

微服务架构下，解决数据一致性问题的实践

库存服务（StorageService）

  1. public interface StorageService { 
  2.  /** 
  3.  * deduct storage count 
  4.  */
  5.  void deduct(String commodityCode, int count);
  6. }

订单服务（OrderService）

  1. public interface OrderService { 
  2.  /** 
  3.  * create order 
  4.  */
  5.  Order create(String userId, String commodityCode, int orderCount);
  6. }

账户服务（AccountService）

  1. public interface AccountService { 
  2.  /** 
  3.  * debit balance of user's account 
  4.  */
  5.  void debit(String userId, int money);
  6. }

说明: 以上三个微服务均是独立部署。

8个步骤实现数据一致性

Step 1：初始化 MySQL 数据库（需要InnoDB 存储引擎）

在 resources/jdbc.properties 修改StorageService、OrderService、AccountService 对应的连接信息。

  1. jdbc.account.url=jdbc:mysql://xxxx/xxxx
  2. jdbc.account.username=xxxx
  3. jdbc.account.password=xxxx
  4. jdbc.account.driver=com.mysql.jdbc.Driver
  5. # storage db config
  6. jdbc.storage.url=jdbc:mysql://xxxx/xxxx
  7. jdbc.storage.username=xxxx
  8. jdbc.storage.password=xxxx
  9. jdbc.storage.driver=com.mysql.jdbc.Driver
  10. # order db config
  11. jdbc.order.url=jdbc:mysql://xxxx/xxxx
  12. jdbc.order.username=xxxx
  13. jdbc.order.password=xxxx
  14. jdbc.order.driver=com.mysql.jdbc.Driver

Step 2：创建 undo_log（用于Fescar AT 模式）表和相关业务表

相关建表脚本可在 resources/sql/ 下获取，在相应数据库中执行 dubbo_biz.sql 中的业务建表脚本，在每个数据库执行 undo_log.sql 建表脚本。

  1. CREATE TABLE `undo_log` ( 
  2.  `id` bigint(20) NOT NULL AUTO_INCREMENT, 
  3.  `branch_id` bigint(20) NOT NULL, 
  4.  `xid` varchar(100) NOT NULL, 
  5.  `rollback_info` longblob NOT NULL, 
  6.  `log_status` int(11) NOT NULL, 
  7.  `log_created` datetime NOT NULL, 
  8.  `log_modified` datetime NOT NULL, 
  9.  `ext` varchar(100) DEFAULT NULL, 
  10.  PRIMARY KEY (`id`),
  11.  KEY `idx_unionkey` (`xid`,`branch_id`)
  12. ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;
  13. DROP TABLE IF EXISTS `storage_tbl`;
  14. CREATE TABLE `storage_tbl` ( 
  15.  `id` int(11) NOT NULL AUTO_INCREMENT, 
  16.  `commodity_code` varchar(255) DEFAULT NULL, 
  17.  `count` int(11) DEFAULT 0, 
  18.  PRIMARY KEY (`id`),
  19.  UNIQUE KEY (`commodity_code`)
  20. ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
  21. DROP TABLE IF EXISTS `order_tbl`;
  22. CREATE TABLE `order_tbl` ( 
  23.  `id` int(11) NOT NULL AUTO_INCREMENT, 
  24.  `user_id` varchar(255) DEFAULT NULL, 
  25.  `commodity_code` varchar(255) DEFAULT NULL, 
  26.  `count` int(11) DEFAULT 0, 
  27.  `money` int(11) DEFAULT 0, 
  28.  PRIMARY KEY (`id`)
  29. ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
  30. DROP TABLE IF EXISTS `account_tbl`;
  31. CREATE TABLE `account_tbl` ( 
  32.  `id` int(11) NOT NULL AUTO_INCREMENT, 
  33.  `user_id` varchar(255) DEFAULT NULL, 
  34.  `money` int(11) DEFAULT 0, 
  35.  PRIMARY KEY (`id`)
  36. ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

说明: 需要保证每个物理库都包含 undo_log 表，此处可使用一个物理库来表示上述三个微服务对应的独立逻辑库。

Step 3：引入 Fescar、Dubbo 和 Nacos 相关 POM 依赖

  1. <properties>
  2.  <fescar.version>0.2.1</fescar.version>
  3.  <dubbo.alibaba.version>2.6.5</dubbo.alibaba.version>
  4.  <dubbo.registry.nacos.version>0.0.2</dubbo.registry.nacos.version>
  5.  </properties>
  7.  <dependency>
  8.  <groupId>com.alibaba.fescar</groupId>
  9.  <artifactId>fescar-spring</artifactId>
  10.  <version>${fescar.version}</version>
  11.  </dependency>
  12.  <dependency>
  13.  <groupId>com.alibaba.fescar</groupId>
  14.  <artifactId>fescar-dubbo-alibaba</artifactId>
  15.  <version>${fescar.version}</version>
  16.  <exclusions>
  17.  <exclusion>
  18.  <artifactId>dubbo</artifactId>
  19.  <groupId>org.apache.dubbo</groupId>
  20.  </exclusion>
  21.  </exclusions>
  22.  </dependency>
  23.  <dependency>
  24.  <groupId>com.alibaba</groupId>
  25.  <artifactId>dubbo</artifactId>
  26.  <version>${dubbo.alibaba.version}</version>
  27.  </dependency>
  28.  <dependency>
  29.  <groupId>com.alibaba</groupId>
  30.  <artifactId>dubbo-registry-nacos</artifactId>
  31.  <version>${dubbo.registry.nacos.version}</version>
  32.  </dependency>

说明: 由于当前 apache-dubbo 与 dubbo-registry-nacos jar存在兼容性问题，需要排除 fescar-dubbo 中的 apache.dubbo 依赖并手动引入 alibaba-dubbo，后续 apache-dubbo(2.7.1+) 将兼容 dubbo-registry-nacos。在Fescar 中 fescar-dubbo jar 支持 apache.dubbo，fescar-dubbo-alibaba jar 支持 alibaba-dubbo。

Step 4：微服务 Provider Spring配置

分别在三个微服务Spring配置文件（dubbo-account-service.xml、 dubbo-order-service 和 dubbo-storage-service.xml ）进行如下配置：

  • 配置 Fescar 代理数据源

此处需要使用 com.alibaba.fescar.rm.datasource.DataSourceProxy 包装 Druid 数据源作为直接业务数据源，DataSourceProxy 用于业务 SQL 的拦截解析并与 TC 交互协调事务操作状态。

  • 配置 Dubbo 注册中心

  • 配置 Fescar GlobalTransactionScanner

此处构造方法的第一个参数为业务自定义 applicationId，若在单机部署多微服务需要保证 applicationId 唯一。

构造方法的第二个参数为 Fescar 事务服务逻辑分组，此分组通过配置中心配置项 service.vgroup_mapping.my_test_tx_group 映射到相应的 Fescar-Server 集群名称，然后再根据集群名称.grouplist 获取到可用服务列表。

Step 5：事务发起方配置

在 dubbo-business.xml 配置以下配置：

  • 配置 Dubbo 注册中心

同 Step 4

  • 配置 Fescar GlobalTransactionScanner

同 Step 4

  • 在事务发起方 service 方法上添加 @GlobalTransactional 注解

    @GlobalTransactional(timeoutMills = 300000, name = “dubbo-demo-tx”)

timeoutMills 为事务的总体超时时间默认60s，name 为事务方法签名的别名，默认为空。注解内参数均可省略。

Step 6：启动 Nacos-Server

  • 下载 Nacos-Server 最新 release 包并解压
  • 运行 Nacos-server

Linux/Unix/Mac

  1. sh startup.sh -m standalone

Windows

  1. cmd startup.cmd -m standalone

访问 Nacos 控制台：http://localhost:8848/nacos/index.html\#/configurationManagement?dataId=&group=&appName=&namespace

若访问成功说明 Nacos-Server 服务运行成功（默认账号/密码: nacos/nacos）

Step 7：启动 Fescar-Server

  • 下载 Fescar-Server 最新 release 包并解压
  • 初始化 Fescar 配置

进入到 Fescar-Server 解压目录 conf 文件夹下，确认 nacos-config.txt 的配置值（一般不需要修改），确认完成后运行 nacos-config.sh 脚本初始化配置。

  1. sh nacos-config.sh $Nacos-Server-IP

eg:

  1. sh nacos-config.sh localhost

脚本执行最后输出 “init nacos config finished, please start fescar-server.” 说明推送配置成功。若想进一步确认可登陆Nacos 控制台 配置列表 筛选 Group=FESCAR_GROUP 的配置项。

微服务架构下，解决数据一致性问题的实践

  • 修改 Fescar-server 服务注册方式为 nacos

进入到 Fescar-Server 解压目录 conf 文件夹下 registry.conf 修改 type=”nacos” 并配置 Nacos 的相关属性。

  1. registry { 
  2.  # file nacos
  3.  type = "nacos"
  4.  nacos { 
  5.  serverAddr = "localhost"
  6.  namespace = "public"
  7.  cluster = "default"
  8.  }
  9.  file { 
  10.  name = "file.conf"
  11.  }
  12. }

type: 可配置为 nacos 和 file，配置为 file 时无服务注册功能

nacos.serverAddr: Nacos-Sever 服务地址(不含端口号)

nacos.namespace: Nacos 注册和配置隔离 namespace

nacos.cluster: 注册服务的集群名称

file.name: type = “file” classpath 下配置文件名

  • 运行 Fescar-server

Linux/Unix/Mac

  1. sh fescar-server.sh $LISTEN_PORT $PATH_FOR_PERSISTENT_DATA $IP(此参数可选)

Windows

  1. cmd fescar-server.bat $LISTEN_PORT $PATH_FOR_PERSISTENT_DATA $IP(此参数可选)

$LISTEN_PORT: Fescar-Server 服务端口

$PATH_FOR_PERSISTENT_DATA: 事务操作记录文件存储路径(已存在路径)

$IP(可选参数): 用于多 IP 环境下指定 Fescar-Server 注册服务的IP

eg: sh fescar-server.sh 8091 /home/admin/fescar/data/

运行成功后可在 Nacos 控制台看到 服务名 =serverAddr 服务注册列表:

微服务架构下，解决数据一致性问题的实践

Step 8：启动微服务并测试

  • 修改业务客户端发现注册方式为 nacos

同Step 7 中[修改 Fescar-server 服务注册方式为 nacos] 步骤

  • 启动 DubboAccountServiceStarter
  • 启动 DubboOrderServiceStarter
  • 启动 DubboStorageServiceStarter

启动完成可在 Nacos 控制台服务列表 看到启动完成的三个 provider：

微服务架构下，解决数据一致性问题的实践

  • 启动 DubboBusinessTester 进行测试

注意: 在标注 @GlobalTransactional 注解方法内部显示的抛出异常才会进行事务的回滚。整个 Dubbo 服务调用链路只需要在事务最开始发起方的 service 方法标注注解即可。

通过以上8个步骤，我们实现了用户采购商品的业务中库存、订单和账户3个独立微服务之间的数据一致性。

参考链接：

本文 sample 地址:

https://github.com/fescar-group/fescar-samples/tree/master/nacos

Fescar:

https://github.com/alibaba/fescar

Dubbo:

https://github.com/apache/incubator-dubbo

Nacos:

https://github.com/alibaba/nacos

本文作者：清铭，社区昵称 slievrly，Fescar 开源项目发起人之一，阿里巴巴中件间 TXC/GTS 核心研发成员，长期从事于分布式中间件核心研发工作，在分布式事务领域有着较丰富的技术积累。

发表评论

表情：
评论列表 （有 0 条评论，316人围观）

还没有评论，来说两句吧...

相关阅读

    相关 微服务架构下的数据一致性

    在微服务架构下呢，我们需要将每个服务对应自己的数据库，这就成了在原来单体架构中所有的服务操作一个数据库变成了多个服务操作多个数据库，遇到有事务约束的场景比如转账汇款，订单状态和

    柔情只为你懂柔情只为你懂/ 0 赞/ 270 阅读