职场经验：算法测试之实践与小结

青旅半醒 2023-09-24 15:45 44阅读 0赞

本文主要**对于算法测试的类型和方法做一下总结**。在项目中，所接触算法测试的类型主要包括如下图所示的几个方面

![000da2cbfa16e5425a1e4d9ecc973181.png][]

**01 算法模型**

根据之前的调研，在测试阶段，对于新采用的算法模型，比如协同过滤，机器学习算法等的测试，很多项目上只是回归下功能和流程，不对具体的算法模型进行评测；一般会通过线上或者灰度发布的推荐效果来评测算法模型。

那么，**在测试阶段有没有什么方案可以评测算法模型呢？**当然有，但是要结合项目情况，具体问题具体分析。

以下是我们在一次大改版中的实践：

*  首先需要**制定评测标准**，和产品方沟通后了解他们的期望，并把产品方的期望量化成一条条评测的约束条件
 *  然后**约定通过测试的标准** 即：算法结果能满足约束条件的最低比例
 *  最后**准备测试数据**，统计计算结果能达到各项约束条件的比例

下面是部分结果展示：

![f373272fd5c393a183a5f122992424b4.png][]

**02 需求规则**

项目中的算法任务，往往包含一些明确的需求规则。比如一个推荐给用户的内容列表，**可能要求：**分页加载过程中内容不能有重复；过滤掉屏蔽的或者特定的内容；按照某个字段大小排序；推荐总数量的限制等等。

对于这些比较明确的规则，我们一般通过接口来测试，可以调用算法的接口或者直接调用服务端的接口，对返回结果校验是否符合规则；如果符合则通过，不符合则不通过。

比如，以下是验证推荐过滤规则的一个接口用例的例子：

![911dc3108ca05b0ef7c8ec58c2c4469c.png][]

**03 算法数据**

算法的测试的过程中，我们往往需要接触到一些算法计算的结果数据，比如资源的热度分，或者相似度分数等。这些数据一般通过算法计算后存放到数据库中，很多情况会回流到服务端数据库中。

对于这些数据的测试，可直接从数据库表中取数据校验，**主要测试两个方面，以热度分为例：**

*  检查热度分的结果，是否符合热度计算的规则;
 *  检查数值本身的规范，比如不能为负数；保留小数点几位等。

**04 功能测试**

在项目中，算法任务有时也会和一些客户端的功能相结合，举几个例子

*  负反馈过滤如用户选择不喜欢后不再出现；
 *  曝光过滤如规定出现几次后不再出现；
 *  刷新规则如规定刷新后推荐数据的变化；
 *  还有一些如关注等操作后对于算法的实时影响等。

对于这部分的测试，我们一般和客户端的功能测试结合起来，**手动操作客户端，并检查后续反馈的算法结果**。

**05 推荐效果的测试**

推荐算法的效果一般有推荐准确率、召回率等指标。离线的推荐算法效果的评测，一般会把线上用户已有的操作数据，按照一定比例分为两部分，大部分用于算法的输入数据，通过算法得到推荐结果，再利用剩下的小部分数据来检验推荐效果。但是，实际项目中，往往存在已有操作数据量不够大、用户未看到真实推荐等因素，导致离线效果评测的不准确，难以信服。

所以项目中，一般在算法上线后，**通过实际线上数据的点击率、uv点击率、次日回访率等指标来衡量推荐算法的效果。**而具体的评测，一般通过ABTest来对比算法的效果。

首先，简单介绍下**ABTest的引入实现**：

*  给每个算法定义一个算法id；
 *  确定分流方式，比如随机分流或者用户分流等；
 *  确定每个算法之间的分流百分比；
 *  根据用户id或者设备id等通过一定算法计算得到一个分流分数；
 *  根据分流分数和分类百分比，来确定采用的算法id。

然后，经过埋点统计等，可以计算得到每个算法对应的点击率等指标，统计结果可记录如下例子：

![736053bb65226b260694a5065353b0e6.png][]

刚开始接手ABTest的报告，我们是采用手动统计的方式，然而在这些指标数据已经存放到数据库的情况下，每次的统计其实是手动把数据填到表格中并计算变化比例，大部分都是重复劳动。于是，做了一个**自动生成ABTest报告的工具，减少QA的工作量**。如下图所示：

![1c9de2397b5bf227dfbd3b7c1d032b1c.png][]

选择指标，算法和时间后，即可得到下图的结果：

![48c665b96cee6267a0e11a5c9a529845.png][]

**06 降级方案及性能优化**

算法的引入有可能会带来一些性能问题，为了保证服务质量，一般会设计针对特定场景的降级方案。目前我所接触到的降级方案主要以设置缓存为主，包括两个层次：

*  **算法缓存**
    
    针对实时性要求不强的场景，比如搜索算法，设定缓存的关键字或者具体资源，以及缓存时间等；
 *  **服务端缓存**
    
    针对有性能问题的算法接口，服务端做的缓冲，在算法服务取数据失败的情况下，依然可以正常提供给用户数据，比如缓存第一页数据，缓冲热门内容等。

那么，**针对降级方案的测试，主要从以下几个方面开展：**

*  针对服务端缓存，可以手动停止算法服务，查看服务端是否切换到缓冲；
    
    不管是算法缓存还是服务端缓存，都可以准备缓存数据，模拟用户可到达的缓存场景，验证方案
 *  功能和流程的回归测试，不管做了哪种降级方案，都需要保证原有产品的功能
 *  性能测试，显然，针对有性能问题的接口，在做了缓存之后性能会大幅提高，比如下图是个算法接口压测的例子，可以看出：同一环境和并发数的情况下，前几分钟性能较差，后几分钟开始走缓存了，TPS明显升高，RT降低：

![1fe851b3c32b64e141b4b80fbfdf228b.png][]

当然，还有一些其他的性能优化的任务的测试，关于具体性能测试这里就不展开论述了，相信很多童鞋都比我有经验。

**07 接口联调**

在项目中，服务端接口和算法接口往往是独立的模块，对于前端的请求，服务端需要调用算法接口，再返回给前端。因此，在这条链路里，**服务端和算法的接口联调也是很重要的部分**。

对于这部分的测试，往往需要具体问题具体分析，这里总结两个测试方向：

*  **造算法数据，**因为在测试阶段，受到测试数据等限制，往往不能完全模拟线上的链路环境，因此，需要我们造一些算法数据来测试；
 *  **接口健壮性的测试**，比如做一些异常测试，保障链路的通畅。

> **测试工具开发**
> 
> 算法的测试，因其测试的特殊性，往往需要开发一些测试工具，帮助测试或者评估风险。比如，进来实现的搜索结果对比工具

### 资源分享【[这份资料必须领取~][Link 1]】 ###

**下方这份完整的软件测试视频学习教程已经上传CSDN官方认证的二维码，朋友们如果需要可以自行免费领取 `【保证100%免费】`**

![在这里插入图片描述][b9a9eea1ed5c42429c5e383b00ba6e0c.png_pic_center]

![在这里插入图片描述][d96b58a511f84668b59f3f620964da07.png_pic_center]

[000da2cbfa16e5425a1e4d9ecc973181.png]: https://img-blog.csdnimg.cn/img_convert/000da2cbfa16e5425a1e4d9ecc973181.png
[f373272fd5c393a183a5f122992424b4.png]: https://img-blog.csdnimg.cn/img_convert/f373272fd5c393a183a5f122992424b4.png
[911dc3108ca05b0ef7c8ec58c2c4469c.png]: https://img-blog.csdnimg.cn/img_convert/911dc3108ca05b0ef7c8ec58c2c4469c.png
[736053bb65226b260694a5065353b0e6.png]: https://img-blog.csdnimg.cn/img_convert/736053bb65226b260694a5065353b0e6.png
[1c9de2397b5bf227dfbd3b7c1d032b1c.png]: https://img-blog.csdnimg.cn/img_convert/1c9de2397b5bf227dfbd3b7c1d032b1c.png
[48c665b96cee6267a0e11a5c9a529845.png]: https://img-blog.csdnimg.cn/img_convert/48c665b96cee6267a0e11a5c9a529845.png
[1fe851b3c32b64e141b4b80fbfdf228b.png]: https://img-blog.csdnimg.cn/img_convert/1fe851b3c32b64e141b4b80fbfdf228b.png
[Link 1]: https://mp.weixin.qq.com/s?__biz=MzA3NjgzNzMwNQ==&mid=2247488615&idx=1&sn=224b86d25074573f836bdf008409de52&chksm=9f5a6cb1a82de5a7e0e86708a061c274ac4676617a675f319c753b219806b1d8161daf83f855&token=2114296175&lang=zh_CN#rd
[b9a9eea1ed5c42429c5e383b00ba6e0c.png_pic_center]: https://img-blog.csdnimg.cn/b9a9eea1ed5c42429c5e383b00ba6e0c.png#pic_center
[d96b58a511f84668b59f3f620964da07.png_pic_center]: https://img-blog.csdnimg.cn/d96b58a511f84668b59f3f620964da07.png#pic_center