大数据存储加速与服务化在Shopee的实践

左手的ㄟ右手 2023-09-25 14:47 77阅读 0赞

**导读：**本次分享主要包括四个方面：

*  存储现状
 *  存储加速
 *  存储服务化
 *  未来规划

分享嘉宾｜丁天宝/孙颢宁 Shopee Data Infra

编辑整理｜冯蕾蕾 我爱我家

内容来源｜大数据存储架构峰会（3月26日）

出品社区｜DataFun

--------------------

**01**

**存储现状**

**1. 存储结构**

![dd670ff2e214a6d6424ce8eb6245c768.png][]

目前虾皮的存储结构从上到下主要分为存储层、调度层、计算引擎层和平台管理层，在引擎层有 Spark、Flink、presto；调度层有 Yarn；存储主要是 HDFS 和 Ozone，对接存储层的也有一些APP，例如推荐和搜索等等。

**2. 存储规模**

![de6530b4c2ddbdc5f9d187c6cd12cc9e.png][]

我们的存储集群规模有几千台，存储规模约数百 PB，文件数量约几十亿，最大 QPS 约几十万。

**02**

**存储加速**

**1. Presto 优化加速查询**

存储加速部分，主要主要是针对 Presto，它是我们存储系统的一个使用大户。目前 Presto 的集群规模大概数千实例，TP90 大概两分钟，每天读取文件大概有几十 PB，查询量大概每天数十万。

![920bc88a298001c5bfd23244685556b6.png][]

![33c68ffa41fd3e76d190e892df267538.png][]

经过长时间的使用发现，HDFS 性能经常不稳定，Presto 的查询也会有抖动现象。所以就产生了既提升查询速度又保证查询稳定性的需求。目前比较主流的改进方式是添加加 cache，cache 中比较主流的方式是使用 Alluxio。Alluxio 方案中相对经典的方式是 Presto Worker 和 Alluxio Worker 部署在一起，HDFS 挂载在 Alluxio 目录上，Presto 通过 Alluxio 访问 HDFS，缓存 Alluxio 自己管理。

![1bdffb0df14a767c221b9e85a08bc981.png][]

在这种 Alluxio+Presto 经典解决方案中也存在一些**问题：**

*  虾皮的存储容量是 PB 级别，缓存容量是 TB 级别，大概有千分之一的差距；这样就必须定制化缓存容量去符合 Presto 运行的一些要求；
 *  如果数据不在 Alluxio 中，需要先将数据导入到 Alluxio 中，经过尝试，我们发现第一次数据导入都会消耗比较长时间。

**解决方案：**

*  对 HMS：设置标志，告诉 Presto 缓存在 Presto 还是在 Alluxio 中；
 *  对 Alluxio Worker：设计 Cache Manger，自定义缓存策略，提前加载缓存；
 *  有了这个标志以后 Presto 就可以直接去查 HDFS，不需要通过 Alluxio 去中转。

**2. Cache Manager 架构和实现细节**

为了解决以上问题，我们设计了一个 Cache Manager 系统。首先来看一下**Cache Manager 的整体架构**：

[dd670ff2e214a6d6424ce8eb6245c768.png]: https://img-blog.csdnimg.cn/img_convert/dd670ff2e214a6d6424ce8eb6245c768.png
[de6530b4c2ddbdc5f9d187c6cd12cc9e.png]: https://img-blog.csdnimg.cn/img_convert/de6530b4c2ddbdc5f9d187c6cd12cc9e.png
[920bc88a298001c5bfd23244685556b6.png]: https://img-blog.csdnimg.cn/img_convert/920bc88a298001c5bfd23244685556b6.png
[33c68ffa41fd3e76d190e892df267538.png]: https://img-blog.csdnimg.cn/img_convert/33c68ffa41fd3e76d190e892df267538.png
[1bdffb0df14a767c221b9e85a08bc981.png]: https://img-blog.csdnimg.cn/img_convert/1bdffb0df14a767c221b9e85a08bc981.png