文章/答案/技术大牛

发布

社区首页 >问答首页 >模型服务的「灰度发布」策略

问模型服务的「灰度发布」策略

提问于 2025-04-21 23:11:02

回答 0关注 0查看 8

DeepSeek-R1版本升级时：

AB测试流量如何在不同模型版本间无损切换？

如何设计回滚机制确保bad case不影响用户体验？

测试

服务

流量

模型

用户体验

已邀请

等1人回答

回答

成为首答用户。去写回答

灰度环境发布策略转

nginx lua

灰度发布是指在黑与白之间，能够平滑过渡的一种发布方式。AB test就是一种灰度发布方式，让一部分用户继续用A，一部分用户开始用B，如果用户对B没有什么反对意见，那么逐步扩大范围，把所有用户都迁移到B上面来。灰度发布可以保证整体系统的稳定，在初始灰度的时候就可以发现、调整问题，以保证其影响度。灰度发布一般有三种方式 nginx+lua，nginx根据cookie分流，nginx 根据权重来分配 nginx+lua根据来访者ip地址区分，由于公司出口是一个ip地址，会出现访问网站要么都是老版，要么都是新版，采用这种方式并不适合 nginx 根据权重来分配，实现很简单，也可以尝试 nginx根据cookie分流，灰度发布基于用户才更合理两台服务器分别定义为 tts_V6 192.168.3.81:5280 tts_V7 192.168.3.81:5380 默认服务器为： default：192.168.3.81:5280 前端nginx服务器监听端口80，需要根据cookie转发，查询的cookie的键（key）为tts_version_id（该键由开发负责增加），如果该cookie值（value）为tts1则转发到tts_V6，为tts2则转发到tts_V7。

用户2603479

2018/08/16

8240

istio实现灰度发布的流量策略

api 负载均衡负载均衡缓存 tcp/ip

将流量从基础设施扩展中解耦，这样就可以让 Istio 提供各种独立于应用程序代码之外的流量管理功能。除了 A/B 测试的动态请求路由，逐步推出和金丝雀发布之外，它还使用超时、重试和熔断器来处理故障恢复，最后还可以通过故障注入来测试服务之间故障恢复策略的兼容性。这些功能都是通过在服务网格中部署的 Envoy sidecar/代理来实现的。

dogfei

2020/07/31

2.2K0

灰度发布

腾讯云测试服务 nginx html

灰度发布，对于大厂来说是必不可少的，对于我这种从来没有灰度发布过的，并不是很清楚，估计也有很多人不知道这个东西。以前只是直到灰度发布，这次稍微了解一下。

wade

2020/04/24

1.6K0

灰度发布

数据库 sql 腾讯云测试服务网站负载均衡

灰度发布（又名金丝雀发布）是指在黑与白之间，能够平滑过渡的一种发布方式。在其上可以进行A/B testing，即让一部分用户继续用产品特性A，一部分用户开始用产品特性B，如果用户对B没有什么反对意见，那么逐步扩大范围，把所有用户都迁移到B上面来。灰度发布可以保证整体系统的稳定，在初始灰度的时候就可以发现、调整问题，以保证其影响度。

心平气和

2020/09/11

2.7K0

灰度发布

云数据库 Redis®nginx dubbo lua zookeeper

灰度发布就是已一种平滑过渡的方式来发布，通过切换线上新旧版本之间的路由权重，逐步从旧版本切换到新版本；比如要上线新功能，首先只是更新少量的服务节点，通过路由权重，让少部分用户体验新版本，如果没有什么问题，再更新所有服务节点；这样可以在出现问题把影响面降到最低，保证了系统的稳定性。

用户4158112

2020/12/09

1.7K0

灰度发布

腾讯云测试服务负载均衡负载均衡缓存

介绍灰度发布流程之前我先一句话介绍一下什么是灰度发布。灰度发布就是，线上app无需停机就可以保证运行的是经过测试的稳定版本，且我们在冒烟测试时也不会影响到线上App的运行。

姜同学

2022/10/27

1.9K0

基于Spring Cloud Gateway实现服务的灰度发布

spring cloud gateway 服务配置

服务上线后由于 bug 修复、扩容、或者发现了更好的方法进行了重构等原因，总免不了需要发布新版本，进行系统变更升级。服务变更过程本身也是引起服务不可用的重要原因。为了尽量降低可能出现故障而造成的损失，比较流行的思路是采用灰度发布策略，逐步增加流量导入新版本服务实例上，直至将所有流量切到新版本，下线旧版本。由于，spring cloud gateway 作为整个系统的入口，在 spring cloud gateway 上实施流量管控策略，也是顺利成章。本文就尝试介绍基于 spring cloud gateway 的灰度发布方法。

BUG弄潮儿

2023/11/27

1.5K0

谈谈后台服务的灰度发布与监控

数据库大数据数据处理

该文介绍了后台服务在灰度发布与监控方面的重要性，以及毫秒服务引擎如何帮助初创团队快速获得这两大利器。还谈到了灰度发布和监控的实际应用和背后的哲学。

廖念波

2016/10/05

9.1K0

Ingress灰度路由策略-基于请求头灰度

kubernetes-ingress

应用背景：应用发布需要基于请求灰度头进行灰度测试，携带请求头的请求灰度到灰度服务。

dufu

2025/03/06

810

灰度策略-简易实现

数据访问控制 go goland 数据策略

在生产环境，进行新旧流量的切换时，需要按一定规则逐步迁移，防止一次性迁移如果出现问题导致后端服务奔溃影响用户，比如按用户id切换访问、按设备标识进行逐步升级等等

王宝

2024/11/24

1160

Ingress灰度路由策略-基于IP灰度路由

nginx-ingress

应用背景：应用发布需要基于指定IP进行灰度测试，这个指定的IP段可能是测试机，也可能是某个网段。这些IP地址访问同域名应用自动转发请求到灰度服务。

dufu

2025/03/06

1330

游戏灰度发布

网络安全游戏负载均衡运维编程算法

制定一个版本计划，开发，与运营沟通，确定版本内容，到了时间，所有游戏区全部关闭入口，停止服务器，发布，部署，重启，开放入口，一气呵成，快哉！

码农戏码

2021/03/23

1.3K0

一、灰度发布

容器 html 网络安全 kubernetes

　　灰度发布是一种发布方式，也叫金丝雀发布，起源是矿工在下井之前会先放一只金丝雀到井里，如果金丝雀不叫了，就代表瓦斯浓度高。原因是金丝雀对瓦斯气体很敏感。灰度发布的做法是：会在现存旧应用的基础上，启动一个新版应用，但是新版应用并不会直接让用户访问。而是先让测试同学去进行测试。如果没有问题，则可以将真正的用户流量慢慢导入到新版，在这中间，持续对新版本运行状态做观察，直到慢慢切换过去，这就是所谓的A/B测试。当然，你也可以招募一些灰度用户，给他们设置独有的灰度标示（Cookie，Header），来让他们可以访问到新版应用，当然，如果中间切换出现问题，也应该将流量迅速地切换到老应用上。

zaking

2022/05/10

1.7K0

StatefulSet灰度发布

kubernetes

灰度发布（Gray Release）是一种流行的发布策略，可以使我们在不中断整个生产环境的情况下逐步将新版本的应用程序发布给一小部分用户，以确保它们能够正常运行。在Kubernetes中，我们可以使用StatefulSet来实现灰度发布。

玖叁叁

2023/04/30

8840

灰度发布方案

负载均衡负载均衡缓存 nginx lua

灰度发布（又名金丝雀发布）是指在黑与白之间，能够平滑过渡的一种发布方式。在其上可以进行A/B testing，即让一部分用户继续用产品特性A，一部分用户开始用产品特性B，如果用户对B没有什么反对意见，那么逐步扩大范围，把所有用户都迁移到B 上面来。灰度发布可以保证整体系统的稳定，在初始灰度的时候就可以发现、调整问题，以保证其影响度。

lyb-geek

2018/08/06

11.5K0

关于灰度发布

编程算法

几个月前部门内容组织了一次系统设计的议题，分到我们头上的题目是设计一套灰度发布系统。嗯，然后我们就精心设计(参考公司现有系统)了一番，不过鉴于滴滴现在大部分的人都是百度来的(误，所以这种系统大概也都是差不多的思路实现而来的。所以感觉应该算是一种通用系统吧~

iTesting

2019/11/01

2.3K0

Ingress灰度路由策略-基于Url子路径灰度

kubernetes-ingress

应用背景：应用发布需要基于请求url子路径匹配，访问同域名根据url子路径匹配自动转发请求到灰度服务。

dufu

2025/03/06

1230

面试官：说说微服务灰度发布的底层实现？

java

微服务中的灰度发布（又称为金丝雀发布）是一种持续部署策略，它允许在正式环境的小部分用户群体上先部署新版本的应用程序或服务，而不是一次性对所有用户同时发布全新的版本。

磊哥

2024/03/06

5950

灰度发布实现及蓝绿发布

cci 持续集成

随着公司业务的不断发展壮大，需要一套稳妥的发布方案，如果发布的新版本服务有问题能及时撤回，不至于造成太大范围的影响;

iginkgo18

2021/08/08

1.6K0

怎样才是真正的灰度发布？

运维

究竟什么才是灰度发布其实并没有一个严格的标准，因为这个东西不是黑的也不是白的是个中间过渡地带，这类的东西定义都会比较麻烦。由于工作的原因看到好多友商所谓的灰度发布产品，有意思的是他们实现的是完全不一样的功能，对外都说自己是灰度发布。我看到的有三种：

Oilbeater

2020/04/22

9340

相似问题

微服务（容器服务）发布编排？

0474

HTML / CSS中的如何转化图像的灰度？

2465

无论怎么修改策略都是返回策略错误？

2555

腾讯音乐版权助手还没有发布吗？如果发布的花在哪找到服务并使用？

0215

ECDN服务维护，通过什么途径发布公告？

0123

问模型服务的「灰度发布」策略

回答

微服务（容器服务）发布编排？

HTML / CSS中的如何转化图像的灰度？

无论怎么修改策略都是返回策略错误？

腾讯音乐版权助手还没有发布吗？如果发布的花在哪找到服务并使用？

ECDN服务维护，通过什么途径发布公告？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问模型服务的「灰度发布」策略

回答

微服务（容器服务）发布编排？

HTML / CSS中的如何转化图像的灰度？

无论 怎么修改策略 都是返回 策略错误？

腾讯音乐版权助手还没有发布吗？如果发布的花在哪找到服务并使用？

ECDN服务维护，通过什么途径发布公告？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

无论怎么修改策略都是返回策略错误？