我们如何将数据库查询并发性提高 20 倍

亦凉 2023-09-26 21:47 31阅读 0赞

张佳峰HackerNoon头像  
@ wydfy111  
张家峰  
开源爱好者

从@ wydfy111接收故事

姓名@company.com

订阅  
统一的分析数据库是数据工程师的圣杯，但它具体是什么样子的呢？它应该随着数据用户的需求而发展。

在纵向上，公司现在拥有不断扩大的数据池，并期望在数据处理中实现更高水平的并发。在横向上，他们需要范围更广的数据分析服务。

除了统计报告和临时查询等传统 OLAP 场景外，他们还在推荐系统、风险控制、客户标记和分析以及物联网中利用数据分析。

在所有这些数据服务中，点查询是数据用户进行的最频繁的操作。点查询是指根据Key从数据库中取出一行或几行。

点查询只返回一小部分数据，例如购物订单的详细信息、交易、消费者画像、产品描述、物流状态等。听起来很简单，对吧？

但比较棘手的是，数据库往往需要同时处理数万个点查询，并在毫秒内对所有查询做出响应。

大多数当前的 OLAP 数据库都是使用列式存储引擎构建的，以处理大量数据。他们以高吞吐量为荣，但在高并发场景下往往表现不佳。

作为补充，许多数据工程师邀请 Apache HBase 等 Key-Value 存储进行点查询，并使用 Redis 作为缓存层以减轻负担。缺点是冗余存储和高维护成本。

自Apache Doris诞生以来，我们一直在努力将其打造成一个统一的数据库，用于各种规模的数据查询，包括即席查询和点查询。至此，我们已经拿下了高吞吐OLAP场景的怪物。

在即将发布的 Apache Doris 2.0 中，我们针对高并发点查询进行了优化。长话短说，它可以实现单节点超过 30,000 QPS。

加速高并发查询的五种方法  
高并发查询很棘手，因为您需要用有限的系统资源来处理高负载。这意味着您必须尽可能减少单个 SQL 的 CPU、内存和 I/O 开销。

关键是尽量减少对底层数据的扫描和后续计算。

Apache Doris 使用五种方法来获得更高的 QPS。

分区和分桶  
Apache Doris 将数据分片为两层结构：Partition 和 Bucket。您可以使用时间信息作为分区键。至于分桶，您在数据散列后将数据分发到各个节点。

明智的分桶计划可以大大提高数据读取的并发性和吞吐量。

这是一个例子：

select \* from user\_table where id = 5122 and create\_date = ‘2022-01-01’

在本例中，用户设置了 10 个桶。create\_date是Partition Key，id是Bucket Key。将数据划分分区和桶后，系统只需要扫描一个分区中的一个桶，就可以定位到需要的数据。这是一个巨大的节省时间。

指数  
Apache Doris 使用各种数据索引来加速数据读取和过滤，包括智能索引和二级索引。智能索引由 Doris 在数据摄取时自动生成，这不需要用户端的任何操作。

有两种类型的智能索引：

Sorted Index：Apache Doris 以有序的方式存储数据。它为每 1024 行数据创建一个排序索引。索引中的Key为当前1024行中第一行排好序的列的值。

如果查询涉及排好序的列，系统会定位相关的1024行组的第一行，并从那里开始扫描。

ZoneMap Index：这些是 Segment 和 Page 级别的索引。Page内每列的最大值和最小值将被记录，Segment内的值也是如此。因此，在等价查询和范围查询中，系统可以借助 MinMax 索引缩小过滤范围。

二级索引由用户创建。这些包括布隆过滤器索引、位图索引、倒排索引和NGram 布隆过滤器索引。（如果您有兴趣，我将在以后的文章中详细介绍它们。）

例子：

select \* from user\_table where id > 10 and id < 1024

假设用户id在建表时指定为Key；数据将id在 Memtable 和磁盘上排序。id因此，在排序索引的帮助下，任何涉及过滤条件的查询都将执行得更快。

具体来说，存储中的数据会根据 放入多个范围内id，系统会根据排序后的索引进行二分查找，定位到准确的范围内。

但这仍然可能是一个很大的范围，因为排序的索引是稀疏的。您可以根据 ZoneMap 索引、Bloom Filter 索引和 Bitmap 索引进一步缩小范围。

这是减少数据扫描并提高系统整体并发性的另一种方法。

物化视图

发表评论取消回复

表情：

评论列表（有 0 条评论，31人围观）

还没有评论，来说两句吧...

相关阅读

相关如何将 iOS 项目的编译速度提高5倍

前言贝聊目前开发的两款App分别是贝聊家长版和贝聊老师版，最近因为在快速迭代开发新功能，项目规模急速增长，单个端业务代码约23万行，私有库约6万行，第三方库代码约15万行，

迷南。/ 2023年10月17日 14:11/ 0 赞/ 2 阅读

相关我们如何将数据库查询并发性提高 20 倍

张佳峰HackerNoon头像 @ wydfy111 张家峰开源爱好者从@ wydfy111接收故事姓名@company.com 订阅统一的分析数

亦凉/ 2023年09月26日 21:47/ 0 赞/ 32 阅读

相关如何将 DevTools 的堆栈追踪速度提高10倍

点击上方关注，一起学习，天天进步今天分享的内容是如何将Chrome DevTools的堆栈追踪速度提高了10倍。之前听工作6年的同事说，DevTools会影响页面

清疚/ 2022年10月16日 09:35/ 0 赞/ 238 阅读

相关 20个 Javascript 技巧，提高我们的摸鱼时间！

> 作者：Kapil Raghuwanshi > 译者：前端小智 > 来源：dev > 有梦想，有干货，微信搜索【大迁世界】关注这个在凌晨还在刷碗的刷碗智。 >

清疚/ 2022年10月07日 12:50/ 0 赞/ 152 阅读

相关如何提高软件可维护性

软件工程中把软件开发大概分了六步：可行性分析、需求分析、设计、编码、测试、运行与维护，在这几大部分中，维护占有重要地位，一般我们不想把大分分精力、财力花

太过爱你忘了你带给我的痛/ 2022年06月18日 04:50/ 0 赞/ 218 阅读

相关如何提高相机感光均匀性

如何提高相机感光均匀性 <table> <tbody> <tr> <td colspan="3"><p><span style="color:rgb(62,

青旅半醒/ 2022年05月23日 04:07/ 0 赞/ 187 阅读

相关如何优化数据库，如何提高数据库的性能?

答: 1)硬件调整性能最有可能影响性能的是磁盘和网络吞吐量,解决办法扩大虚拟内存，并保证有足够可以扩充的空间;把数据库服务器上的不必要服务关闭掉;把数据库服务器和主域服务器

- 日理万妓/ 2022年04月15日 03:13/ 0 赞/ 334 阅读

相关 [贝聊科技]如何将 iOS 项目的编译速度提高5倍

前言贝聊目前开发的两款App分别是贝聊家长版和贝聊老师版，最近因为在快速迭代开发新功能，项目规模急速增长，单个端业务代码约23万行，私有库约6万行，第三方库代码约15万

た入场券/ 2022年03月02日 10:24/ 0 赞/ 446 阅读

相关记一次Java调优，性能提高20倍

记一次Java调优，性能提高20倍背景最近我们接入网关OpenAccess服务增加了流量监控（阿里的Sentinel），进入测试环境，用20个线程并发测试后发现

谁借莪１个温暖的怀抱￠/ 2022年02月27日 16:40/ 0 赞/ 264 阅读

相关 SQL优化之如何将SQL执行效率提高了10000000倍！

场景我用的数据库是mysql5.6，下面简单的介绍下场景课程表： create table Course( c_id int P

旧城等待，/ 2022年01月10日 13:45/ 0 赞/ 287 阅读