巨杉TechDay回顾 | 在广州和技术大牛群侃分布式的那个下午~

妖狐艹你老母 2022-10-29 03:25 202阅读 0赞

在自身业务场景的长期探索与实践过程当中，互联网行业逐渐发展出自己特色的分布式数据库技术实现。而在大数据时代，业务需求变化得很快，以往企业应用开发的传统中间件加数据库的“烟囱式”模式已经跟不上时代发展，逐渐被新一代的分布式数据库所取代。分布式数据库开始被广泛应用于各种高并发、大数据量、要求强一致性和强大横向扩展能力的业务场景中。

而随着大数据概念的兴起，以及真实需求在各个行业的落地，很多人开始热衷于讨论分布式数据库，分布式数据库架构是如何演进的？如何选择适合微服务的数据库？新一代分布式数据库的架构又将如何进化？为了让开发者们更好地了解分布式数据库，共同讨论在如今新业务应用开发模式下分布式数据库的发展趋势和应用实践，巨杉数据库特别举办了“分布式数据库发展趋势与应用实践”广州站活动，邀请了多位数据库方面的专家带来精彩纷呈的技术干货，给大家分享实实在在的应用实践经验，让现场数百位开发者收获满满。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlcXVvaWFEQl9PZmZpY2lhbA_size_16_color_FFFFFF_t_70][]

**微服务下的分布式数据库架构演进与实践**

巨杉北美研发团队核心技术专家Danny Chen，作为第一位演讲嘉宾，详细介绍了微服务下的分布式数据库架构演进与实践。Danny Chen认为，云架构基本的要素是通过共享与抽象来提供服务，而“共享”则代表着通过平台来应用成本与使用成本，云架构不仅可以有效降低各方资源成本，还有加快部署周期、通过接口避免重复工作等优势，都可以帮助开发者高效、低成本、低门槛的开发应用。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlcXVvaWFEQl9PZmZpY2lhbA_size_16_color_FFFFFF_t_70 1][]

在云架构下人们更加关心服务与应用本身，而微服务的设计特点，则更加注重高敏捷部署与弹性伸缩。那么，在微服务与数据平台构建整合的过程中，我们首先对比数据服务平台相较于传统数据库来说，数据服务平台通常能够提供结构化、半结构化、非结构化的数据存储；在数据访问上，它能够创建自己的schema，即schema-on-read；从成本上看，数据服务平台通常放在通用硬件上面，更适合于云部署，成本更低；在应用层面来看，对多种应用的兼容，使其可以灵活使用数据。

那么，为微服务构建的数据平台究竟有什么独到之处？Danny Chen强调，在自身设计方面，数据平台内部组件遵从微服务架构设计原则，适合于云部署，通过通用接口摆脱依赖性，而最大的特点便是对多种应用兼容；在架构层面来看，为微服务构建的数据平台可以做到存储和计算分离、支持数据多模以及完善的监控机制甚至自维护；而数据平台如何达到对接，则需要适配不同现有应用的接口，随后需要对接微应用，以提供数据层面的持久化，弹性扩张能力，最后，则是数据本身的抽象数据层，必须做到屏蔽底层，对上解耦；在架构上，其具备数据安全与持久、注重动态弹性扩张能力、没有单点故障、或对接不同类型应用等优势。

**保险行业分布式数据库实践**

接下来的第二个主题演讲，嘉宾就保险行业分布式数据库技术结合业务场景，分享了具体的实践应用体会。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlcXVvaWFEQl9PZmZpY2lhbA_size_16_color_FFFFFF_t_70 2][]

谈到保险业务数据库底层的转变，分享嘉宾表示大数据和移动互联网时代下，随着业务快速增长，数据量越来越大，对实时响应和业务灵活性要求越来越高，传统架构扩展性和灵活性已经无法适应。目前，保险行业也在尝试寻找新的突破、为使生产系统安全稳定、海量数据存储管理以及数据服务水平的提高，传统架构转型迫在眉睫，分布式数据库的高并发、高扩展和安全性等特点为保险行业系统架构的升级转型带来了更多的机遇与可能。

此后，嘉宾也分享了在保险行业以分布式数据库为基础，构建海量数据存储平台，以强化数据管理，优化效率，提升数据价值的案例。

首先，数据提取加速，数据时效性明显提高，复杂提数效率得到质的提升，并发查询压力有效降低；其次，数据分析提升，整合数据更有利于使用，平台集群计算能力助力分析效率，开源软件提供新应用、降低成本；此外，个性开发更灵活，个性业务数据需求得到满足，经营数据快速查询，智能化应用得到更好的数据支持。

**BCM存储架构演进**

YY Research Lab 分布式存储负责人简怀兵作为第三个出场的讲师，直奔主题为大家分享了BCM存储架构的演进。BCM作为YY内部孵化的项目产品，在初期的架构及存储系统方面存在诸多诉求与痛点，例如，扩展不足、一致性模型单一，以及模型简单，实时性要求高等。对此，首先从存储架构上，从集中式DB，通过架构升级至分布式DB；其次，根据不同场景需求的强弱，将内部一致性与外部一致性分离，使得不同场景为用户提供不同的一致性；最后，业务逻辑上，部分业务逻辑下沉至数据访问层。以上三方面设计手段与思考是BCM依据中长期目标提出的解决方案。

![图片][f53ff9dbeb8647eb2db60c4c11936a6b.png]

接下来简怀兵介绍了实际落地过程中面临的难题与挑战，从传统架构到分布式架构的演进，本身为存储系统带来了诸多复杂性，而这主要体现在从单个节点到多个节点上；数据的多副本还需要进行容错，发现之后需要做恢复；而相对完整的分布式系统则需要集群的扩张。根据以上项目落地中的挑战，简怀兵强调：“除了业务层面的种种精细化优化，未来还需要加强在通用场景下的技术能力，在IM系统中，将会继续强化基础能力PUB/SUB。”

**从MySQL到SequoiaDB，分布式应用转型实战**

最后一个主题分享，是通过现场演示使用巨杉数据库与传统MySQL的相似之处，去评估新的分布式数据库需要的一些维度。不难看出，评估一套新的数据库，首先需要考虑传统技术的兼容性，用以降低开发者学习成本；其次，技术的前瞻性，新的数据库如何与云计算、微服务等技术共同服务。

![图片][848699c13c2302aa02015c1eed0b4516.png]

数据库选项的关键指标究竟包括哪些方面呢？具体而言，针对传统数据的兼容性，需要考虑ACID的支持；其次是SQL的完整支持，包括MySQL/PostgreSQL语法的完整兼容。除此，新技术的前瞻性则包括以下几点：第一，分布式与扩展性；第二，HTAP，混合事务和分析场景，适应更多数据应用需求；第三，Multi-model与多租户，同一引擎处理多种数据应用场景，符合微服务和云数据库的架构理念。紧接着，通过实践演示，用巨杉数据库来替换MySQL数据库的操作，更直观的让开发者们了解更多巨杉分布式数据库的特性与优势。

![图片][dfc391cfb72819ca6ed02f4198e11a18.png]

随着最后演讲主题的结束，现场还增加了简单轻松的互动环节，现场小伙们认真倾听热情互动，与数据库领域的专家们共同见证着巨杉分布式数据库的不凡能力。

当然，此次巨杉TechDay只是赋能开发者应用开发实践的其中一环，未来必定有更多技术、产品等着开发者们去尝试与运用。如果你还意犹未尽，让我们继续关注巨杉TechDay下一次精彩的沙龙活动吧！

![图片][0e58c1ad9c1eed9affa2754a3ae7fe00.png]

**PS：关注公众号，发送“0602”，或按图示操作****，即可获取PPT~**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlcXVvaWFEQl9PZmZpY2lhbA_size_16_color_FFFFFF_t_70 3][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlcXVvaWFEQl9PZmZpY2lhbA_size_16_color_FFFFFF_t_70]: /images/20221024/5249e057464d4eaeb9a1a84ecb6ec003.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlcXVvaWFEQl9PZmZpY2lhbA_size_16_color_FFFFFF_t_70 1]: /images/20221024/eefd45a85da341f592f4fb45c686d0bf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlcXVvaWFEQl9PZmZpY2lhbA_size_16_color_FFFFFF_t_70 2]: /images/20221024/d888bbafafcc4e718f49e0d768a68d8a.png
[f53ff9dbeb8647eb2db60c4c11936a6b.png]: /images/20221024/fea4324c750348509c22229e25bb51e2.png
[848699c13c2302aa02015c1eed0b4516.png]: /images/20221024/374a0afabb2246a8a8084ac2304941b7.png
[dfc391cfb72819ca6ed02f4198e11a18.png]: /images/20221024/527713e23f7a4f16b1898dbd770b8881.png
[0e58c1ad9c1eed9affa2754a3ae7fe00.png]: /images/20221024/655ee8d093ac45e0b46ab3852f371e42.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlcXVvaWFEQl9PZmZpY2lhbA_size_16_color_FFFFFF_t_70 3]: /images/20221024/ae03451a9594441aa78065b8e90932bd.png