一款优秀数据库中间件的不完全解析

Bertha 。 2022-10-11 03:42 122阅读 0赞

本文内容概述

> 1.  数据库中间件有啥用
> 2.  架构剖析之高屋建瓴  
>     2.1. 整体概述  
>     2.2. 组件图看架构
> 3.  细节剖析之一叶知秋  
>     3.1. 配置加载和bean初始化  
>     3.2. 细说读写分离
> 4.  总结

# Part1数据库中间件有啥用 #

有一天，你去三亚玩耍，就想玩个冲浪，即时你不差钱，难道还要自己采买快艇、滑板等等装备来满足这为数不多的心血来潮么。租一个就行了嘛。这其实就是连接池的作用。

数据库中间件可以理解为是一种具有连接池功能，但比连接池更高级的、带很多附加功能的辅助组件，不仅可以租冲浪板，还可以提供地点推荐、上保险等等各类服务。

从网上的资料看，zdal应该算是半开源的，好像是之前开源过，但后续没有准备维护，然后就删除了，不过github被fork下来好多，随便一搜就是一片，当前，只是老的版本。目前蚂蚁内部的zdal好像已经更新到zdal5了吧，那咱可就看不到了。

![4982f737807ececba71cb4f13331bc4c.png][]

越复杂的系统，数据库中间件的作用越大。就拿zdal来说，它提供分库分表，结果集合并，sql解析，数据库failover动态切换等数据访问层统一解决方案。下面就一起来看下，其内部实现是怎么样的。

# Part2架构剖析之高屋建瓴 #

![3d40dfbbc51815c8a6d1aff25e14d550.png][]

## 2.1整体概述 ##

如上图所示，zdal有四个重要的组成部分：

*  **价值体现--客户端Client包**。对外暴露基本操作接口，用于业务层简单黑盒的操作数据源；业务只和client交互，动态切换/路由等逻辑只需要进行规则配置，相关逻辑由zdal实现。
 *  **核心功能--连接管理datasource包**。最核心的能力，提供多种类型数据库的连接管理；不管功能多花哨，最终目的还是为了解决数据库连接的问题。
 *  **关键能力--SQL解析parser包**。基础SQL解析能力；解析sql类型、字段名称、数据库等等，配合规则进行路由
 *  **扩展能力--库表路由rule包**。根据parser解析出的字段确定逻辑库表和物理库表。

## 2.2组件图看架构 ##

组件图对整体架构和各组件及相互联系的理解可以起到很好的帮助。一个简版的组件图画了好久，还有不少错，不过大概是这么个意思，哎，基本功要丢~

![283038b2b7a07ab791b6e3367178914f.png][]

对照上图可以比较清晰的看到：

*  Client包对应用层暴露的数据源、负责监听配置动态变更的监听组件、负责加载组织各部分的配置组件、负责加载spring bean 和库表规则的配置组件；
 *  Client中加载了规则组件，实现逻辑表和数据库的路由规则。
 *  Client中的库表配置调用datasource中的数据源管理服务并构建连接池的连接池；
 *  Client中的SqlDispatcher服务调用SQL解析组件实现SQL解析。

# Part3细节剖析之一叶知秋 #

## 3.1配置加载和bean初始化 ##

大部分情况下，我们使用如mybatis这样的ORM框架来进行数据库操作，其实不管是ORM还是其他方式，应用层都需要对数据源进行配置。

所以，client对外暴露了一个符合JDBC标准的datasource数据源，用来满足应用层ORM等框架配置数据源的要求--**ZdalDataSource**

![e96f1cf729e688ebaf005c2afc2b4360.png][] 如图片被压缩看不清，后台回复<zdal类图>获取

//只提供了一个init方法，这也是spring启动时时，必须要调用的初始化方法，所有功能，都从这里开始
    public class ZdalDataSource extends AbstractZdalDataSource implements DataSource{
        public void init() {
            try {
                super.initZdalDataSource();
            } catch (Exception e) {
                CONFIG_LOGGER.error("...");
                throw new ZdalClientException(e);
            }
        }

**ZdalDataSource\#init()** 方法即为配置加载的核心入口，init中负责加载spring配置，根据配置初始化数据源，并创建连接池，同时，将逻辑表和物理库的对应关系都维护起来供后续路由调用。

/*父类的init方法*/
    protected void initZdalDataSource() {
        /*用FileSystemXmlApplicationContext方式加载配置文件中的数据源和规则，转化成zdalConfig对象*/
        this.zdalConfig = ZdalConfigurationLoader.getInstance().getZdalConfiguration(appName,dbmode, appDsName, configPath);
        this.dbConfigType = zdalConfig.getDataSourceConfigType();
       this.dbType = zdalConfig.getDbType();
       //初始化数据源
       this.initDataSources(zdalConfig);
       this.inited.set(true);
        }
    }

从上面的类图和这里的两个入口方法大概了解到zdal配置加载的启动流程。下面我们就来详细看一下，读写分离和分库分表的规则是怎么被加载，怎么起作用的。

## 3.2细说读写分离 ##

### 读写分离配置的加载 ###

首先，我们需要有数据源的相关配置，如下图：![c978aecc6dcd3f3c11c2c354cf877544.png][]此XML配置会在init方法被调用时，被初始化，解析成ZdalConfig类的属性，ZdalConfig类的主要成员见下面代码：

public class ZdalConfig {
        /** key=dsName;value=DataSourceParameter 所有物理数据源的配置项,比如用户名，密码，库名等 */
        private Map<String, DataSourceParameter> dataSourceParameters = new ConcurrentHashMap<String, DataSourceParameter>();
        /** 逻辑数据源和物理数据源的对应关系:key=logicDsName,value=physicDsName */
        private Map<String, String>              logicPhysicsDsNames  = new ConcurrentHashMap<String, String>();
        /** 数据源的读写规则，比如只读，或读写等配置*/
        private Map<String, String>              groupRules           = new ConcurrentHashMap<String, String>();
        /** 异常转移的数据源规则*/
        private Map<String, String>              failoverRules        = new ConcurrentHashMap<String, String>();
        //一份完整的读写分离和分库分表规则配置
        private AppRule                          appRootRule;

可以看到，xml中的规则，被解析到xxxRules里。这里以groupRules为例，failover同理。

下一步则是通过解析得到的zdalConfig 来初始化数据源：

protected final void initDataSources(ZdalConfig zdalConfig) {
        //DataSourceParameter中存的是数据源参数，如用户名密码，最大最小连接数等
        for (Entry<String, DataSourceParameter> entry : zdalConfig.getDataSourceParameters().entrySet()) {
            try {
               //初始化连接池
               ZDataSource zDataSource = new ZDataSource(/*设置最大最小连接数*/createDataSourceDO(entry.getValue(),zdalConfig.getDbType(), appDsName + "." + entry.getKey()));
               this.dataSourcesMap.put(entry.getKey(), zDataSource);
            } catch (Exception e) {
                //...
            }
       }
      //其他分支略，只看最简单的分组模式
      if (dbConfigType.isGroup()) {
           //读写配置赋值
           this.rwDataSourcePoolConfig = zdalConfig.getGroupRules();
           //初始化多份读库下的负载均衡
           this.initForLoadBalance(zdalConfig.getDbType());
      }
      //注册监听：为了满足动态切换
      this.initConfigListener();
    }

initForLoadBalance的方法如下：

private void initForLoadBalance(DBType dbType) {
        Map<String, DBSelector> dsSelectors = this.buildRwDbSelectors(this.rwDataSourcePoolConfig);
        this.runtimeConfigHolder.set(new ZdalRuntime(dsSelectors));
        this.setDbTypeForDBSelector(dbType);
    }

可以看到，首先构建出了DB选择器，然后赋值给了runtimeConfigHolder供运行时获取。而构建DB选择器的时候，其实是按读写两个维度，把所有数据源都构建了一遍，即group\_r和group\_w下都包含5个数据源，只不过各自的权重不一样：

//比如按上面的配置写库只有一个，但是也会包含全数据源
    
    group_0_w_0 :< bean:read0DataSource , writeWeight:0>
    group_0_w_1 :< bean:writeDataSource , writeWeight:10>
    group_0_w_2 :< bean:read1DataSource , writeWeight:0>
    group_0_w_3 :< bean:read2DataSource , writeWeight:0>
    group_0_w_4 :< bean:read3DataSource , writeWeight:0>
    
    //上述就是写相关的DBSelecter的内容。

### 读写分离怎么起作用 ###

以delete为例，更新删除是要操作写库的

public void delete(ZdalDataSource dataSource) {
         String deleteSql = "delete from test";
         Connection conn = null;
         PreparedStatement pst = null;
         try {
            conn = dataSource.getConnection();
            pst = conn.prepareStatement(deleteSql);
            pst.execute();
         } catch (Exception e) {
                //...
         } finally {
               //资源关闭
         }
     }

getConnection会从上文中提到的runtimeConfigHolder中获取DBSelecter，然后执行execute方法

public boolean execute() throws SQLException {
        SqlType sqlType = getSqlType(sql);
        // SELECT相关的就选择group_r对应的DBSelecter
       if (sqlType == SqlType.SELECT || sqlType == SqlType.SELECT_FOR_UPDATE|| sqlType == SqlType.SELECT_FROM_DUAL) {
         //略
        return true;
        //update/delete相关的就选择group_w对应的DBSelecter
      } else if (sqlType == SqlType.INSERT || sqlType == SqlType.UPDATE|| sqlType == SqlType.DELETE) {
           if (super.dbConfigType == DataSourceConfigType.GROUP) {
               executeUpdate0();
           } else {
               executeUpdate();
          }
          return false;
      } 
    }

如果是读取相关的，那就选\_r的DBSelecter，如果是写相关的，那就选\_W的DBSelecter。那么executeUpdate0中是怎么执行区分读写数据源的呢，其实就是把这一组的数据源根据权重筛选一遍。

// WeightRandom#select(int[], java.lang.String[])
    private String select(int[] areaEnds, String[] keys) {
       //这里的areaEnds数组，是一个累加范围值数据
       //比如三个库权重    10   9   8
       //那么areaEnds就是  10  19  27 是对每个权重的累加，最后一个值是总和
       int sum = areaEnds[areaEnds.length - 1];
       //这样随机出来的数，是符合权重分布的
       int rand = random.nextInt(sum);
       for (int i = 0; i < areaEnds.length; i++) {
           if (rand < areaEnds[i]) {
               return keys[i];
       }
       return null;
    }

# Part4总结 #

本篇文章，把阿里数据库中间件相关的组件和加载流程进行了总结，就一个最基本的分组读写分离的流程，对内部实现进行了阐述。说是解析，其实是提供给大家一种阅读的思路，毕竟篇幅有限，如果对中间件感兴趣的同学，可以fork下代码，按上述逻辑自己阅读下。

看源码时，比如dubbo这些中间件其实是比较容易入手的，因为他们都依托于Spring进行JavaBean的装载，所有，对Spring容器暴露的那些init、load方法，就是很好的切入点。个人思路，希望对大家有所帮助。

推荐好文

[强大，10k+点赞的 SpringBoot 后台管理系统竟然出了详细教程！][10k_ SpringBoot]

[分享一套基于SpringBoot和Vue的企业级中后台开源项目，代码很规范！][SpringBoot_Vue]

[能挣钱的，开源 SpringBoot 商城系统，功能超全，超漂亮][SpringBoot]![5ca18bb8b1081348030d8fe0dcb9c02c.png][]

[4982f737807ececba71cb4f13331bc4c.png]: /images/20221005/f951db2dd0424f47a57d504af1d867b3.png
[3d40dfbbc51815c8a6d1aff25e14d550.png]: /images/20221005/1d69aafd2d834395b9dcd05388ed4ad3.png
[283038b2b7a07ab791b6e3367178914f.png]: /images/20221005/47152f8919644259be6fa3d560377cd3.png
[e96f1cf729e688ebaf005c2afc2b4360.png]: /images/20221005/aa18a0ec387c44a88299161321a56e7c.png
[c978aecc6dcd3f3c11c2c354cf877544.png]: /images/20221005/588d7a25930f458c94a8e03eb953e912.png
[10k_ SpringBoot]: http://mp.weixin.qq.com/s?__biz=MzI4Njc5NjM1NQ%3D%3D&chksm=ebd5c411dca24d07446a4f22772cd12d2cc1143b62eb922a14500ae981cd57fb850ef74ca257&idx=2&mid=2247498557&scene=21&sn=84902d7030e174e152615d8fae3755cc#wechat_redirect
[SpringBoot_Vue]: http://mp.weixin.qq.com/s?__biz=MzU2MTI4MjI0MQ%3D%3D&chksm=fc799be6cb0e12f0b58479f8b031bc5ae79efdca1880ff9b19f0a107c3a88c37b9596dc73203&idx=2&mid=2247497288&scene=21&sn=65d7111a19e920df1e9416959594b2f4#wechat_redirect
[SpringBoot]: http://mp.weixin.qq.com/s?__biz=MzU2MTI4MjI0MQ%3D%3D&chksm=fc799a9ccb0e138a64a2671f31b8d4be1b3c061a288f7b0d1d4af02a60c45a72231446b91e00&idx=2&mid=2247497522&scene=21&sn=c5b4e596be4ac7d7f293e7e2f0ea0769#wechat_redirect
[5ca18bb8b1081348030d8fe0dcb9c02c.png]: /images/20221005/8c3db329ea3e48f1adc67e898b5218bf.png