日均千亿级别的数据请求量背后的秘密

ゝ一纸荒年。 2022-04-24 00:14 272阅读 0赞

> 近几年由于各个行业的数据体量都在飞速增长，伴随着云计算产业的快速发展，上云，已经成为了众多企业优化运维手段、突破数据存储瓶颈的关键选择。目前绝大多数企业都正在进行或已实现整体业务的迁移上云。

“上云”这个词说起来简单，实际操作起来却是困难重重。其中与业务关联最为紧密的数据迁移，更是实现业务整体向云端迁移的重中之重。在APM应用性能管理领域内，有很大部分是通过埋藏探针的形式来对业务数据进行采集，从而进行应用性能的相关分析，所以数据的重要性不言而喻。

截至目前，听云已经为万余家国内外企业提供应用性能监控服务，庞大的业务量使得平台每日需承载千亿级的用户监控请求，其业务特性对业务整体架构的高并发、高存储、低时延、高可用性等方面提出了高要求，对底层存储数据库的考验尤甚。

在业务上线的初期阶段，听云通过自建本地数据库的方式来支撑整体业务运转。但随着业务量的指数级扩张，数据库无时无刻都在面临着稳定、安全、容灾、成本等各个方面的挑战。自建本地数据库的方式，在每日过亿的大体量数据面前，显得格外吃力。此时，将数据向云端迁移，成为了听云缓解大量数据堆积所造成的系统、业务响应缓慢的最直接也是最有效的解决方法。

但是就像我们上文提到的，数据向云端迁移，即便是云端技术十分成熟的现在，也容不得半点马虎，其所面临的考验也是十分严峻。

终于，听云决定放弃其他云厂商，举家迁移到腾讯云数据库，新篇章就此拉开帷幕。

“腾讯云数据库结合云数据库的企业级PaaS和SaaS服务、高性能与高可靠的基础能力，为听云打造了一整套跨云迁移、弹性缩扩容的数据库业务支撑方案，保障了听云整体业务平滑迁移，稳定可靠运行，并做到资源成本最优化。”听云高级副总裁陈靖华说。

说起来容易的事情，做起来往往没有那么简单。听云与腾讯云数据库的联姻之旅，经受了三重严苛考验。

## 一重考验：PB级大数据量跨云迁移 ##

11年来，听云积累了海量业务数据，想要跨云跨IDC迁移，面临业务系统梳理、现网资源还原以及业务连续性保证等一系列问题，这些问题处理得如何将直接影响到系统的可用性和可靠性，决定着迁移是否成功。腾讯云结合多年数据库服务经验，凭借过硬的产品和技术，为听云量身打造了一整套数据库传输服务和迁移方案。

![\\"\\"][860f9a48093829d7b8dff1825225db46.png]

腾讯云提供的数据迁移服务

在支持听云数据库服务迁移工作中，针对数据库实例较多、单实例数据量较大、InnoDB和TokuDB两种存储引擎方式混合使用、数据同步困难等问题，依靠腾讯云完善的数据库在线传输服务，同时针对听云的混合引擎特点，通过上线多引擎在线迁移支持模块，保障了听云数据库业务平滑无损迁移，同时协助听云完成数据库在线迁移、切换以及回滚等一系列功能。

在迁移过程中，为了保障客户PB级数据的在线迁移工作，通过腾讯云数据库的数据传输服务，结合基于行业级别的数据一致性校验能力，满足客户大量数据库实例并行迁移，同时保证数据一致性的需求，实现迁移过程中的灵活可控，顺利完成了听云数据库集群在线迁移工作。

![\\"\\"][d2c49202d15c88d207f210d1305a58b6.png]

云数据库MySQL 高可用架构

## 二重考验：容量规划与成本优化 ##

听云为互联网公司提供服务监控管理等企业级服务，其业务性质决定了数据增长速度、访问量、并发量等和单体互联网公司相比根本不在一个量级，且业务负载随服务的客户业务波动进行变化。如适逢双十一大促等时间节点，则是多个超级电商系统需求量的叠加。电商客户的数据体量会成倍增加，短时间内的流量突发以及高并发都会对这些电商客户的网站性能、数据库的吞吐量、I/O性能等性能指标提出很大的考验。为满足业务需求，数据库层一方面有大量的扩容需求，提升云数据库规格，提高数据库服务的承载力；另一方面需要对核心数据库进行拆分，在传统的数据库方案中，数据库的拆分需要大量的人力投入，时间投入。在腾讯云上，通过数据库传输服务快速拷贝数据副本并保持增量同步，让数据库拆分工作自动化并可控。

腾讯云数据库支持快速的弹性缩扩容，同时云数据库的缩扩容操作不影响业务正常运行。数据一致性校验可以保证缩扩容前后数据的一致性与安全性。最重要的是，支持用户选择数据库切换时间，可以在业务低峰自动切换，降低维护成本。

在容量规划方面，腾讯云数据库提供了一整套的解决方案：

*  秒级监控技术，让客户实时洞悉资源负载情况
 *  监控时间段的自定义对比功能，让客户直观的评估资源增长情况，可以快速进行容量规划
 *  快速和高安全的扩容能力，满足客户及时调整资源使用的需求

业务迁移到腾讯云数据库后，听云业务系统的稳定性、安全性得到了极大提升，同时大幅减轻运维人员的日常运维压力，提高了数据库运维人员的工作效率，释放运维人员的时间与精力向更核心的业务优化与架构优化方面投入。

## 三重考验：千亿级的日请求量 ##

通过在国内十余年的行业深耕，听云目前的日请求量已经达到了千亿级别，像这种体量的数据请求，如此大规模的数据并发与吞吐量，无时无刻都在考验着数据库的关键性能。尤其是云数据库在高负载下的整体稳定性以及如何保障性能的高可用，相信不只是听云，更是很多大体量数据用户最为关心的痛点之一。

在性能与扩展性方面：

*  腾讯云数据库基于内核团队多年的开发使用经验，优化了数据库的元数据锁，线程池等方面，极大的提高了数据库性能
 *  腾讯云数据库采用pcie-ssd固态硬盘，为数据库服务提供极致的io性能，同时基于数据传输服务，打造整体的快速数据库平台扩展能力

千亿级的日请求量意味着高并发与高吞吐，是对云数据库性能的直接考验，除了弹性扩容，更考验云数据库在高负载下的整体稳定性与完善高可用策略。听云使用了腾讯云倾力打造的CDB数据库产品，结合腾讯多年的数据库使用和优化经验，在内核级做了大量的开发优化工作，大幅提高数据库性能与稳定性，最高支持24万QPS，采用高可用的主从架构和完善的故障检测与处理机制，故障秒级切换，保证数据库系统的高可用、高可靠和连续性。同时，为了避免出现单机房故障情况，在有主从备份的情况下，腾讯云为听云提供了灾备服务，确保业务在不可抗力场景下快读恢复和持续服务。另外，腾讯云数据库对产品不断进行迭代升级，满足听云业务快速增长的需求，同时提供专业的数据库专家团队7\*24小时在线支持，为听云保驾护航。

![\\"\\"][48fbf70564163812b246f951471acfd1.png]

腾讯云数据库异地灾备

腾讯云数据库依托腾讯强大的资源优势和技术优势，将自身技术能力不断开放，提供容灾、备份、恢复、监控、告警、快速扩容、数据传输服务、灾备和智能DBA等数据库运维全流程全行业数据库解决方案，企业可一键上云无后顾之忧，同时资源可随实际业务情况及时调整，对于互联网企业而言，可以做到长期与短期的容量灵活规划，同时达到资源成本最优化。

腾讯云数据库可轻松运维主流开源及商业数据库(MySQL,Redis,MongoDB,MariaDB,SQLServer,PostgreSQL等)，弹性调整规格大小而无需停机，帮助企业大大简化IT 运维工作，让企业能更加专心于业务发展。

[860f9a48093829d7b8dff1825225db46.png]: /images/20220222/d5d0799c9fab4e10bbe788dc37a83716.png
[d2c49202d15c88d207f210d1305a58b6.png]: /images/20220222/842f9092282a4bc2be21f34236711533.png
[48fbf70564163812b246f951471acfd1.png]: /images/20220222/b3d6c4906edf40838d709176307c58dd.png