华为云企业级Redis：助力VMALL打造先进特征平台

落日映苍穹つ 2022-09-16 04:53 172阅读 0赞

> **摘要：**当电商平台对AI算法模型的需求越来越多，特征数据平台的统一建设是不少开发团队头疼的事情。因为只有通过统一的特征数据存储，才能改变原有的“数据孤岛”，解决生产重复造轮子的窘境。

本文分享自华为云社区《[华为云企业级Redis：助力VMALL打造先进特征平台][Redis_VMALL]》，作者： GaussDB 数据库 。

## 1 客户介绍 ##

华为商城（VMALL）是华为公司旗下自营及精选好物的官方电商平台，本着“智慧生活、精选好物”的理念，为消费者提供最齐全的华为品牌产品及鸿蒙生态产品，覆盖了办公、出行、居家、运动、娱乐等生活需求，致力于将全场景智慧生活带给更多的消费者。

云数据库GaussDB(for Redis)作为华为云旗下企业级Redis，致力于为客户提供稳定可靠、超高并发，且能够极速弹性扩容的KV存储服务。GaussDB(for Redis)在VMALL特征工程平台建设中，起到了关键作用。

## 2 业务痛点 ##

VMALL使用了大量的AI和大数据技术，用来支撑智能推荐、精准营销、智能搜索、选品投放等业务的高效开展。

![ddb2e38d78d888e23f9c71c6b81c2d1d.png][]

随着业务的快速发展，系统对AI算法模型的需求日益增多。当前的AI开发流程中，“模型训练”和“模型部署”阶段都已经有成熟的平台支撑，唯独“特征数据准备”阶段缺乏通用平台，导致了“线上推理和线下训练的特征数据不一致”、“各算法模型独立开发，特征生产重复造轮子”、“特征工程投入时间多（占据算法开发耗时的60%-70%）”3个关键问题，严重影响了研发效率，阻碍业务发展。

为解决此问题，VMALL大数据团队开始着手建设统一的特征平台。

![6ad6c5cd102854219d6e91272ac11197.png][]

特征平台的核心部件是特征存储数据库，只有通过统一的特征数据存储，才能改变原有的“数据孤岛”窘境，彻底解决“不一致”、“难共享”、“效率低”3大问题。

但也正是由于特征数据库需要承担打通线上/线下多个场景，对接批式/流式多种数据源，满足训练/推理多样消费需求，对特征数据库的选型提出了非常高的要求：需要找到一款数据存储服务，**既能提供低成本的海量数据存储并方便扩容，又能保证数据的绝对可靠和服务的高可用；既要满足低时延的线上推理，又要满足高吞吐的线下训练**；既能提供简洁的KV接口供下游轻松消费，又要兼容主流的批式/流式处理引擎（Spark/Flink等）供上游快速接入。

经过深入调研，VMALL大数据团队最终选择了GaussDB(for Redis)作为特征数据库，下面就让我们详细看看GaussDB(for Redis)是如何满足上述苛刻要求的。

![3c14ef854eaeeec1b661b6c0e7b6c815.png][]

## 3 解决方案 ##

### 特征平台使用GaussDB(for Redis)的主要流程 ###

**1）特征生产（抽取、处理、存储）**

![3f506c264431942d536de4ad4ceb9d35.png][]

*  离线特征（静态特征）：

定时调度Spark作业，从各种数据仓库、数据湖中提取数据，进行特征工程处理后，存入GaussDB(for Redis) 。

*  实时特征（动态特征）：

Flink消费Kafka，或流式存储中的数据，持续更新到GaussDB(for Redis)中。

**2）特征消费**

![f367769e8d91e28de47e4af877eeb043.png][]

![a999e9ed5093bb5d743d5371425dc806.png][]

*  线上推理：

模型已经部署到生产，开始承接业务，需要低时延，高并发的消费数据，从GaussDB(for Redis)

中读取数据。

*  线下训练：

GaussDB(for Redis)存有最新的特征数据，OBS中存有全量的特征数据。

1）对于使用静态特征的较为简单的模型，可以直接从OBS中获取特征使用。

2）对于使用实时特征的场景（如实时推荐系统），由Flink从Kafka中实时取得用户请求记录，并从GaussDB(for Redis) 查询取得特征，将记录和特征拼接成训练样本，存储到文件中，供线下训练使用。

### 特征平台对GaussDB(for Redis)的核心诉求 ###

结合上述业务场景，总结特征平台对GaussDB(for Redis)的核心诉求如下：

![e8a27af2d18af1e9a6f1c61b39208698.png][]

### GaussDB(for Redis)满足特征平台诉求的关键方案 ###

**1）业务接口**

GaussDB(for Redis)兼容社区Redis5.0接口，支持和Spark/Flink Connector的对接，很好的满足了业务的使用需求

**2）稳定性**

GaussDB(for Redis)采用自研内核，解决了社区Redis的fork，oom等老大难问题，具备了企业级应用的稳定性

**3）可靠性**

数据零丢失：逐条命令实时落盘，底层三副本冗余存储，无数据丢失风险

数据强一致：基于GaussDB公共的共享存储部件DFV，实现三副本强一致，多点访问无脏读风险

**4）成本**

GaussDB(for Redis)实现数据的自动冷热分离，采用内存+SSD的混合存储方案，大幅降低了客户的使用成本。按照VMALL的特征体量测算，亿级用户，每个用户的特征数量是数K-数10K，GaussDB(for Redis)一年的费用仅**3W**出头，如果选用社区Redis，费用在**20W+**

**5）性能**

GaussDB(for Redis)采用多线程架构，并且所有节点可以同时支持写入，因此可以较好满足批量灌库的高吞吐写需求。读方面，基于冷热分离方案，热数据常驻内存提供稳定低时延；冷数据读涉及IO交换，存在一定长尾，但可满足VMALL业务要求（目前VMALL线上GaussDB(for Redis)实例读时延平均0.16ms，P99 0.4ms，P9999 1.5ms）

**6）可扩展性**

**基于计算存储分离架构，**底层数据可被任一节点访问，扩容过程不发生数据拷贝搬迁，因此速度极快；计算节点扩容分钟级完成，存储扩容秒级完成，RTO < 10秒

综上，与社区Redis相比，GaussDB(for Redis)提供了更稳定的使用体验，更可靠的数据存储，更低廉的使用成本和更便捷的扩展能力，是更适合像VMALL特征平台这样大规模电商大数据应用的企业级Redis服务。因此，VMALL特征平台最终选择GaussDB(for Redis)作为特征数据的存储服务。

## 4 上线后效果 ##

目前VMALL已完成一期的特征数据迁移，包括“特征生产”业务中的“Spark离线特征生产”，以及“特征消费”业务中的“线下训练Flink特征查询”，已迁移到GaussDB(for Redis)。

**当前GaussDB(for Redis)运行平稳，业务高峰时段时延稳定，能够满足VMALL当前业务要求。其中，读平均时延0.2ms（p99<0.4ms），写入平均时延0.6ms（P99<2ms）。**

VMALL当前已启动二期的特征数据迁移，计划完成包括“Flink在线特征生成”，“线上推理”等核心业务的接入。

## 5 总结 ##

本文介绍了华为商城（VMALL）在建设特征平台过程中，对特征数据存储服务的选型和应用。由此可见，华为云GaussDB(for Redis)服务在成本，可靠性，可扩展性等方面具有优势，可作为特征数据存储的理想方案，提供企业级的稳定可靠的Redis服务能力。

**企业级Redis专场热卖中，不限新老用户，首月免费（链接）：**

*https://console.huaweicloud.com/nosql/?region=cn-north-4&promotionId=P2109280321005721G5P1YZ0VUN22R&promotionPlanId=PDP2109280321005041XSEIKF05B9C4C&buyTime=1&dbType=redis&flavorId=large.4\#/instance/create*

**[点击关注，第一时间了解华为云新鲜技术~][Link 1]**

[Redis_VMALL]: https://link.zhihu.com/?target=https%3A//bbs.huaweicloud.com/blogs/303744%3Futm_source%3Dzhihu%26utm_medium%3Dbbs-ex%26utm_campaign%3Ddatabase%26utm_content%3Dcontent
[ddb2e38d78d888e23f9c71c6b81c2d1d.png]: /images/20220828/6a710be4e893456083fe943b1c16549d.png
[6ad6c5cd102854219d6e91272ac11197.png]: /images/20220828/be8bccba36304524b12c48ef91c5eaeb.png
[3c14ef854eaeeec1b661b6c0e7b6c815.png]: /images/20220828/399b576731704e04b7f0fae5cba85d8f.png
[3f506c264431942d536de4ad4ceb9d35.png]: /images/20220828/e9d724ef3e334c4da61072da616872ac.png
[f367769e8d91e28de47e4af877eeb043.png]: /images/20220828/4d341be281fa4bf69f0242e0997eb224.png
[a999e9ed5093bb5d743d5371425dc806.png]: /images/20220828/f0efc80dd2fb4506afa3742d5bf100f5.png
[e8a27af2d18af1e9a6f1c61b39208698.png]: /images/20220828/33b6950adda6406daae7c80dc9e797de.png
[Link 1]: https://link.zhihu.com/?target=https%3A//bbs.huaweicloud.com/blogs%3Futm_source%3Dzhihu%26utm_medium%3Dbbs-ex%26utm_campaign%3Ddatabase%26utm_content%3Dcontent