分库分表组件TDDL

红太狼 2022-06-14 05:38 173阅读 0赞

淘宝根据自己的业务特点开发了TDDL（Taobao Distributed Data Layer 外号:头都大了 ©\_Ob）框架，主要解决了分库分表对应用的透明化以及异构数据库之间的数据复制，它是一个基于集中式配置的 jdbc datasource实现，具有主备，读写分离，动态数据库配置等功能。

TDDL所处的位置（tddl通用数据访问层，部署在客户端的jar包，用于将用户的SQL路由到指定的数据库中）：

![204916_CaN3_1164691.png][]

淘宝很早就对数据进行过分库的处理， 上层系统连接多个数据库，中间有一个叫做DBRoute的路由来对数据进行统一访问。DBRoute对数据进行多库的操作、数据的整合，让上层系统像操作 一个数据库一样操作多个库。但是随着数据量的增长，对于库表的分法有了更高的要求，例如，你的商品数据到了百亿级别的时候，任何一个库都无法存放了，于是 分成2个、4个、8个、16个、32个……直到1024个、2048个。好，分成这么多，数据能够存放了，那怎么查询它？这时候，数据查询的中间件就要能 够承担这个重任了，它对上层来说，必须像查询一个数据库一样来查询数据，还要像查询一个数据库一样快（每条查询在几毫秒内完成），TDDL就承担了这样一 个工作。在外面有些系统也用DAL（数据访问层） 这个概念来命名这个中间件。  
下图展示了一个简单的分库分表数据查询策略：

![204933_A9jF_1164691.png][]

主要优点：  
1.数据库主备和动态切换  
2.带权重的读写分离  
3.单线程读重试  
4.集中式数据源信息管理和动态变更  
5.剥离的稳定jboss数据源  
6.支持mysql和oracle数据库  
7.基于jdbc规范，很容易扩展支持实现jdbc规范的数据源  
8.无server,client-jar形式存在，应用直连数据库  
9.读写次数,并发度流程控制，动态变更  
10.可分析的日志打印,日志流控，动态变更  
TDDL必须要依赖diamond配置中心（diamond是淘宝内部使用的一个管理持久配置的系统，目前淘宝内部绝大多数系统的配置，由diamond来进行统一管理，同时diamond也已开源）。  
TDDL动态数据源使用示例说明：[http://rdc.taobao.com/team/jm/archives/1645][http_rdc.taobao.com_team_jm_archives_1645]  
diamond简介和快速使用：[http://jm.taobao.org/tag/diamond%E4%B8%93%E9%A2%98/][http_jm.taobao.org_tag_diamond_E4_B8_93_E9_A2_98]  
TDDL源码：[https://github.com/alibaba/tb\_tddl][https_github.com_alibaba_tb_tddl]   
TDDL复杂度相对较高。当前公布的文档较少，只开源动态数据源，分表分库部分还未开源，还需要依赖diamond，不推荐使用。

[204916_CaN3_1164691.png]: /images/20220614/36555fded45647068862aab1f06aa198.png
[204933_A9jF_1164691.png]: /images/20220614/96b07f19421141a8ac9e4211707a34f9.png
[http_rdc.taobao.com_team_jm_archives_1645]: http://rdc.taobao.com/team/jm/archives/1645
[http_jm.taobao.org_tag_diamond_E4_B8_93_E9_A2_98]: http://jm.taobao.org/tag/diamond%E4%B8%93%E9%A2%98/
[https_github.com_alibaba_tb_tddl]: https://github.com/alibaba/tb_tddl