基于 Nginx 实现灰度发布与 AB 测试

╰+哭是因爲堅強的太久メ 2022-09-15 05:53 205阅读 0赞

**点击关注公众号，回复“****1024****”获取****2TB****学习资源！**

## 背景 ##

单位的云办公相关系统没有成熟的平滑发布方案，导致每一次发布都是直接发布，dll文件或配置文件的变更会引起站点的重启。

云办公系统的常驻用户有10000+，即使短短半分多钟，也会收到一堆投诉。基于此，我们梳理了一套平滑发布的方案。

## 实施方案 ##

1、跟[nginx][]代理服务器约定了一个健康检查的接口

2、通过接口返回的http状态码来让ngx是否分流用户请求（这个我们单位的技术部那边有标准的做法）

3、根据提供的这个服务健康检查的接口：[nginx][nginx 1]判断只要某个实例的接口返回5xx的状态码，即把该实例下线（[nginx][nginx 2]不会把流量转发到该实例）

![b91b708dc50fb46e7faf79d3c93530a3.png][]

## 发布流程 ##

目的主要是为了发布的时候能够平滑发布，所以QA与开发人员在发布得时候按照如下步骤操作：

1、打开系统的[nginx][nginx 3]列表管理页面：\[/publish/ngxconfig\]

2、下架某一个实例（假设系统集群有A、B、C个实例），比如A实例

![50a848b8c2c4f388755c14e5f82765db.png][]

3、查看是否下架成功：这个就是我们跟[nginx][nginx 4]约定的健康检查接口，正常在线状态下是200的statu，切离线后，这个接口返回的是401的statu。

在线情况：

![c753fe855b8b644e01b4f4a64e38eba1.png][]

离线情况：

![94223f4eba2631aa573bbb2c3309f3fc.png][]

4、观察监控站点，直至该实例下的Req、Connnectiuon流量都消失

![efdcde0bbf45eefa613a678c8cfa6f0b.png][]

5、在该实例下进行版本发布

6、打开Fidller，host到待发布的实例，然后判断是否发布成功（发布dll、配置文件时，IIS站点会短暂重启）

7、QA同学走查灰度的A实例服务器，保证它正常运行，如此循环，直到所有服务器都发布。

## 进一步AB测试的优化 ##

平滑发布做完之后，确实给我带来很大的便利，不用每次发布都发公告，不重要的或者非功能性的内容发布了就是了。

但是用久了，客户量上去之后，又遇到一个问题，那就是每一次业务大变更，大型发布都是直接发布到生产，这样可能存在风险。设计师设计的功能，用户不一定完全接受，一旦上线新版本，收到一大堆的吐槽，都是用户呀，如果能在小范围人群内进行灰度试用，完成平稳的过度和使用反馈之后，优化后再上到生产会更好一点。

所以这边需要思考和设计一套统一的技术方案，未来无论云办公还是其他的业务系统，都能通过灰度发布在可指定的小范围内先进行体验和功能验证。

基于上面的平滑，我们在Nginx反向代理服务器上动心思，让nginx来帮我们做ABTesting的方案。

## 以下是我们尝试的几种方案 ##

###### 1、Nginx反向代理：来路IP策略 ######

流程图：

![a8a1e294a053559905d943e337823739.png][]

步骤：

*  1、进入云办公系统，进入Nginx反代服务器
 *  2、Nginx读取来路IP的AB名单
 *  3、根据IP AB名单进行流量转发(名单A走特定实例，名单B走云办公原有集群实例)

server {
    listen 80;
    server_name officecloud.com;
    access_log officecloud.com/logs main;
    ip_list 192.168.254.4,192.168.254.170
    
    set $group default;
    if ($remote_addr in iplist) {
    set $group ACluster;
    }
    location / { 
    proxy_pass http://$group;
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    index index.html index.htm;
    }
    }

优缺点：

*  1、配置简单，原资源平台的灰度升级就是根据IP名单来划分设计升级的
 *  2、外部计算机很多都是非固定IP，这个适合在公司内网实现，比如只是配置公司内网的IP。

###### 2、Nginx反向代理：$.Cookies策略 ######

流程图：

![25c821ecb3901b0ae8ef084c3d517349.png][]

步骤

*  1、进入云办公系统，进入Nginx反代服务器
 *  2、Nginx读取Http请求的Cokie的version信息（也可以是别的key）
 *  3、根据Key的版本来进行流量转发(比如Version1.1走特定集群，Version1.0走通用集群实例)

server {
    listen 80;
    server_name officecloud.com;
    access_log officecloud.com/logs main;
    ip_list 192.168.254.4,192.168.254.170
    
    set $group default;
    if ($http_cookie ~* "version=V1.0"){
    set default;
    }
    if ($http_cookie ~* "version=V1.1"){
    set $group ACluster;
    }
    
    location / { 
    proxy_pass http://$group;
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    index index.html index.htm;
    }
    }

优缺点：

*  1、配置简单，根据Nginx的 $COOKIE\_version 属性来判断
 *  2、相对稳定，对需要开放名单的用户，在Cookie头部加入特定的版本即可，应用只要少许的开发量
 *  3、首次访问静态页面可能不会产生cookie

备注：这是团队内认为最好的Nginx代理方案，同理，User-Agent和Header都可以做此种类型的判断，但是Header需要侵入底层HttpRequest去业务添加，不建议。

###### 3、AB集群+业务代理方式 ######

流程图：

![32f885dd398348d5848b07604eacfc5b.png][]

步骤：

*  1、进入云办公系统，两种方式进入系统，一种是登录页登录：~/login ，一种是default页面带uckey登录：~/default?usertoken=\#usertoken\#
 *  2、登录的时候和usertoken传入的时候进去 路由代理模块,进行用户信息校验，根据不同的人员和部门(人员和部门配置归属AB名单)分流到两个不同的AB集群
 *  3、根据转发跳到具体的实例集群域名下（可以配置AB集群拥有不同域名,更容易区分）

优缺点

*  1、与Nginx剥离，不用依赖公司的通用平台和技术部的实现
 *  2、需要申请AB集群，AB集群拥有不同的域名。
 *  3、如果是前后端分离情况下，需要保证静态站点和服务站点均申请AB集群
 *  4、所有入口需要统一做代理，有一定的开发量

目前手上2个系统已经根据该方案实现了。

> *作者：翁智华* 
> 
> *出处：cnblogs.com/wzh2010/p/13458723.html*

![68371c0e47e8720a5b5b9cca0bd1d1a9.png][]

![402dbfc90127ba3a4d48185bb12ae6ee.png][]

推荐阅读 点击标题可跳转

[取代 VM ！是什么让 Docker 比 VM 或裸机更安全？][VM _ Docker _ VM]

[Win 11 正式版免费升级方法、最低系统要求公布][Win 11]

[“我只警告一次，下次我会直接忽略你发的垃圾，懂？][Link 1]

有个程序员老公有多爽？？？
    雷军 22 年前写的代码 你见过吗?
    
    程序员之天梯排行榜，你在哪一级？
    校招黑名单！建议收藏，求职避坑必备
    
    终于搞懂了服务器为啥产生大量的TIME_WAIT！

![90b428bde1294460a060cc76760ecd0c.png][]

PS：因为公众号平台更改了推送规则，如果不想错过内容，记得读完点一下**“在看”**，加个**“星标”**，这样每次新文章推送**才会第一时间出现在你的订阅列表**里。

**随手在看、转发是最大的支持！****![62a09d0940b2ff2da728ebd2f529c381.gif][]**

[nginx]: http://mp.weixin.qq.com/s?__biz=MzI0MDQ4MTM5NQ==&mid=2247522391&idx=1&sn=8eb46821e83b1845427abaf2081e16b3&chksm=e918fd4bde6f745d90a241e0f09c24f98d14afc93182c30dd103afe77d57a7a93a05928313a2&scene=21#wechat_redirect
[nginx 1]: http://mp.weixin.qq.com/s?__biz=MzI0MDQ4MTM5NQ==&mid=2247521386&idx=1&sn=1ac9dcb0b6306cebfa334f0952d9ae12&chksm=e918f176de6f7860c9c71555565968a8a6012d44f1a4691d6e33b4de1cae9206b3f0b3ba486f&scene=21#wechat_redirect
[nginx 2]: http://mp.weixin.qq.com/s?__biz=MzI0MDQ4MTM5NQ==&mid=2247520574&idx=1&sn=a08f5fec0658cfa7f6e95d4a4f389f83&chksm=e918f422de6f7d34bd64b6ce6164cf88459963428a7ad14f148c13139fb56cd2a740a9d49a02&scene=21#wechat_redirect
[b91b708dc50fb46e7faf79d3c93530a3.png]: /images/20220828/1a5c115603f74a7f9937b18d6ab2a814.png
[nginx 3]: http://mp.weixin.qq.com/s?__biz=MzI0MDQ4MTM5NQ==&mid=2247519147&idx=1&sn=dc9eb6f0944104e866cdd93223f1261d&chksm=e918eeb7de6f67a10eac232bd0858151abea83db191ab36d4085f77be7a8249646c5070ffc27&scene=21#wechat_redirect
[50a848b8c2c4f388755c14e5f82765db.png]: /images/20220828/f3362b63097b4225aff11e8ff8cc116f.png
[nginx 4]: http://mp.weixin.qq.com/s?__biz=MzI0MDQ4MTM5NQ==&mid=2247516174&idx=1&sn=c3a47548cdac175b746a7c14c57881bc&chksm=e918e512de6f6c04ca98b3395599aa210be5e9ced84349cc188cc883e75269c737553c3f06a4&scene=21#wechat_redirect
[c753fe855b8b644e01b4f4a64e38eba1.png]: /images/20220828/17e03e089e874cbd8cfec8ce282cf383.png
[94223f4eba2631aa573bbb2c3309f3fc.png]: /images/20220828/f0ff4d88b7434fb7b80fba090100033c.png
[efdcde0bbf45eefa613a678c8cfa6f0b.png]: /images/20220828/bbdf42a2bb4b4181bfa4739e09fbbd6c.png
[a8a1e294a053559905d943e337823739.png]: /images/20220828/e1cc8b2541e743a692a80176fb14dee8.png
[25c821ecb3901b0ae8ef084c3d517349.png]: /images/20220828/9e23e83be552412099cf3799a6d944e4.png
[32f885dd398348d5848b07604eacfc5b.png]: /images/20220828/484f4c8600dd41879b4f098ef4a1f4eb.png
[68371c0e47e8720a5b5b9cca0bd1d1a9.png]: /images/20220828/1892415bc52f44ebad9ae090b423ad20.png
[402dbfc90127ba3a4d48185bb12ae6ee.png]: /images/20220828/99c54c29d6f74b7ea4ad9bf914c0b164.png
[VM _ Docker _ VM]: https://blog.csdn.net/qq_41376740/article/details/98526896
[Win 11]: http://mp.weixin.qq.com/s?__biz=MzI0MDQ4MTM5NQ==&mid=2247522630&idx=1&sn=fa0416f8ac8569b992cf23f9e5f2ca54&chksm=e918fc5ade6f754cf70f6aeb88ce9f1bbc90f8148a059e1faf3703c91ce58663a4424b111e15&scene=21#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzI0MDQ4MTM5NQ==&mid=2247522607&idx=1&sn=1982eeb257011ff2fc6e282bac9368c7&chksm=e918fc33de6f7525799c59ddd385d09bc105b87cdc78ee32899072d05119d360da0f24be5e7f&scene=21#wechat_redirect
[90b428bde1294460a060cc76760ecd0c.png]: /images/20220828/ea6bb50ecc394b0fa886ee645f145e9d.png
[62a09d0940b2ff2da728ebd2f529c381.gif]: /images/20220828/0c2efa809af04a1cb17932af922caf21.png