如何进行A/B测试

╰+哭是因爲堅強的太久メ 2023-10-13 15:37 8阅读 0赞

> A/B 测试是种实验方法，用于比较两种或更多不同版本网页、广告、邮件等产品或服务性能和效果。在A/B测试中，将随机分配相同数量用户或访问者，让他们分别访问不同版本产品或服务，然后收集分析他们的反馈和行为数据，以决定哪个版本更有效或更受欢迎。

微信搜索关注《Java学研大本营》，加入读者群，分享更多精彩

### 什么是 A/B 测试？ ###

![9f3a098166a630a4602171129c312d36.png][]

A/B 测试，也称为拆分测试，是一种营销实验，可以在其中拆分受众以测试广告系列的多个变体并确定哪个效果更好。换句话说，可以向一半观众展示内容/功能/行为的版本 A，而向另一半观众展示版本 B。

### 为什么不使用第三方服务？ ###

确实将第 3 方 X 用于 A/B。

对于 X，观察到以下问题：

*  由于服务器端标记的高延迟
 *  特征复杂度
 *  分割部分的跟踪和影响测量。
 *  成本高

### 它提供什么？ ###

该服务（作为微服务实现）将使客户能够进行 A/B 测试。可以对多个特征（返回值）进行任意数量的实验。

设计时要牢记可扩展性和进一步增强功能。

常用功能包括：

*  能够在受限的基础上控制功能上线（特定用户）
 *  为随机 (%) 用户启用任何功能
 *  根据具有复杂逻辑的用户配置文件/特定参数评估功能
 *  能够在受限的基础上控制前端功能（UI 元素）
 *  在任何实验中添加/编辑特征
 *  使段相互排斥的能力
 *  能够找出哪个用户属于特定细分
 *  此类实验可能产生的所有其他分析

### 技术栈： ###

Springboot

Java 8

Maven

Mysql

Groovy

### 架构设计： ###

![ec42df6e03e49b910451f318570a6a6d.png][]

这是上面实体保存的内容的简短描述。所有实体都扩展 BasEntity 以获取所有实体的公共列。

*  实验：所有实验都将保存在这里，并带有唯一名称和可选描述。
 *  Feature：一个实验可以有多个特征，这些特征将保存在这个表中，具有唯一的名称，可选的描述和 experiment\_id 作为实验表的外键。 值是该功能将以 json 格式返回给客户端的内容。 Whitelisted\_users 将包含 user\_id 列表作为逗号分隔列表，它将告诉哪些用户分配给此功能。
 *  逻辑：由于每个实验都可以有一定的条件来划分用户段，所以这个条件会保存在逻辑表的条件栏中。（我们稍后会来实现）
 *  User\_Feature\_Mapping：因为我们可能希望一旦用户被分配到某个功能，它将在未来的 api 调用中保持相同的功能。换句话说，我们可能希望保持一致性而不是每次都评估逻辑（条件）。

### 流程设计： ###

![0bc9679e48602ff096046b18660a07d5.png][]

![7d84c89bc85c4919b6a26cfc5fb1a2c6.png][]

现在将了解以上 2 个流程的含义：

usePreCalculated标志在这里很重要，因为它意味着我们是要重用 User\_Feature\_Mapping 表中包含的值还是再次评估逻辑表中的条件。

*  如果为假，将检查实验的每个特征的 whitelisted\_list。如果退出则返回值，否则将评估逻辑然后相应地返回特征值；
 *  如果为真，将首先检查 user\_feature\_mapping 表是否存在 user\_id 和 experiment\_id。如果是，那么返回该值。如果没有，那么将按照上面的步骤（步骤 1）

注意：每次评估逻辑时，都会将结果保存在user\_feature\_mapping表中

### 如何评估条件？ ###

将常规代码存储在逻辑表的条件列中。以下只是一个示例：

import groovy.lang.GroovyShell;
    
    public class GroovyDemo {
        public static void main(String[] args) {
            System.out.println("This represents some random code");
    
            String groovyScript = "println 'first line of Groovy output'\n" +
                    "println 'second line of Groovy output'";
    
            GroovyShell groovyShell = new GroovyShell();
    
            // instead of passing a String you could pass a
            // URI, a File, a Reader, etc... See GroovyShell javadocs
            groovyShell.evaluate(groovyScript);
    
            System.out.println("This represents some more random code");
        }
    }

选择 groovy shell 是因为它具有绝对的灵活性。可以执行复杂的功能，甚至可以使用存储为文本的代码调用外部方法和 api。当用例很复杂时，这很有用，例如想根据某些只能由第三方 api 实现的用户属性或参数来分配用户段。

例如，如果想将A/B分成90:10，可以对user\_id进行模10运算，并将结果0分配给B段，剩下的分配给A段。可以多次更改比例甚至逻辑无需重新部署。

### API列表： ###

*  /experiment POST -> 创建一个实验
 *  /experiment/\{experiment\_name\} PUT -> 编辑实验
 *  /experiment/\{experiment\_name\} GET -> 获取实验的详细信息
 *  /experiment/\{experiment\_id\}/feature POST -> 向实验添加特征
 *  /feature/\{feature\_id\} PUT -> 编辑特征
 *  /feature/\{feature\_id\}/whitelist PUT -> 编辑特定功能的白名单用户列表
 *  /experiment/evaluate/\{experiment\_name\} POST -> 主要 api。评估实验并返回 json 格式的响应

### 前进的道路： ###

*  Swagger Integration 用于记录
 *  缓存以加快速度并减少数据库调用

### 推荐书单 ###

#### 《项目驱动零起点学Java》 ####

《项目驱动零起点学Java》共分 13 章，围绕 6 个项目和 258 个代码示例，分别介绍了走进Java 的世界、变量与数据类型、运算符、流程控制、方法、数组、面向对象、异常、常用类、集合、I/O流、多线程、网络编程相关内容。《项目驱动零起点学Java》总结了马士兵老师从事Java培训十余年来经受了市场检验的教研成果，通过6 个项目以及每章的示例和习题，可以帮助读者快速掌握Java 编程的语法以及算法实现。扫描每章提供的二维码可观看相应章节内容的视频讲解。

《项目驱动零起点学Java》贯穿6个完整项目，经过作者多年教学经验提炼而得，项目从小到大、从短到长，可以让读者在练习项目的过程中，快速掌握一系列知识点。

马士兵，马士兵教育创始人，毕业于清华大学，著名IT讲师，所讲课程广受欢迎，学生遍布全球大厂，擅长用简单的语言讲授复杂的问题，擅长项目驱动知识的综合学习。马士兵教育获得在线教育“名课堂”奖、“最受欢迎机构”奖。

赵珊珊，从事多年一线开发，曾为国税、地税税务系统工作。拥有7年一线教学经验，多年线上、线下教育的积累沉淀，培养学员数万名，讲解细致，脉络清晰。

[《项目驱动零起点学Java》(马士兵，赵珊珊)【摘要 书评 试读】- 京东图书京东JD.COM图书频道为您提供《项目驱动零起点学Java》在线选购，本书作者：，出版社：清华大学出版社。买图书，到京东。网购图书，享受最低优惠折扣!![icon-default.png?t=N658][icon-default.png_t_N658]https://item.jd.com/13607758.html][Java_ _ _- _JD.COM_Java_icon-default.png_t_N658_icon-default.png_t_N658_https_item.jd.com_13607758.html]

![80941ebd7d29cc482fbe4aed76a68a86.png][]

> > > > ### 精彩回顾 ###
> > 
> > [数据架构演进史（上）][Link 1]
> > 
> > [数据架构演进史（下）][Link 2]
> > 
> > [如何选择适合的后端框架][Link 3]

> > 微信搜索关注《Java学研大本营》
> > 
> > 访问【IT今日热榜】，发现每日技术热点

[9f3a098166a630a4602171129c312d36.png]: https://img-blog.csdnimg.cn/img_convert/9f3a098166a630a4602171129c312d36.png
[ec42df6e03e49b910451f318570a6a6d.png]: https://img-blog.csdnimg.cn/img_convert/ec42df6e03e49b910451f318570a6a6d.png
[0bc9679e48602ff096046b18660a07d5.png]: https://img-blog.csdnimg.cn/img_convert/0bc9679e48602ff096046b18660a07d5.png
[7d84c89bc85c4919b6a26cfc5fb1a2c6.png]: https://img-blog.csdnimg.cn/img_convert/7d84c89bc85c4919b6a26cfc5fb1a2c6.png
[icon-default.png_t_N658]: https://csdnimg.cn/release/blog_editor_html/release2.3.3/ckeditor/plugins/CsdnLink/icons/icon-default.png?t=N658
[Java_ _ _- _JD.COM_Java_icon-default.png_t_N658_icon-default.png_t_N658_https_item.jd.com_13607758.html]: https://item.jd.com/13607758.html
[80941ebd7d29cc482fbe4aed76a68a86.png]: https://img-blog.csdnimg.cn/img_convert/80941ebd7d29cc482fbe4aed76a68a86.png
[Link 1]: https://mp.weixin.qq.com/s?__biz=MzkzMDM3MjI3Nw==&mid=2247486741&idx=1&sn=517ba7d754622f7eb0faea16a6a6e354&chksm=c27a02cff50d8bd900503680cedcde21ae7525987f6d7dccbcec8da14282446a0964a7fd1d97&scene=21#wechat_redirect
[Link 2]: https://mp.weixin.qq.com/s?__biz=MzkzMDM3MjI3Nw==&mid=2247486755&idx=1&sn=d6d655a966870e3ced25f1da1d309fc1&chksm=c27a02f9f50d8bef677c96f1b609717e572913833dc3039facbb4f27edadcf1421dac5857eb5&scene=21#wechat_redirect
[Link 3]: https://mp.weixin.qq.com/s?__biz=MzkzMDM3MjI3Nw==&mid=2247485911&idx=1&sn=33ccbc9f8c9f98de24e05cdae26767f7&chksm=c27a060df50d8f1bb9d16fc293b5bd94faabacf4763d20f60a4962e709f1bd60efae4dd5a4ec&scene=21#wechat_redirect