
多模型版本切换:蓝绿部署与配额一致性开篇之前,先问你个问题:你经历过凌晨三点被电话叫醒,说线上推理模型升级后,用户配额突然变成负数,或者新模型返回结果格式不兼容导致前端崩溃吗?我经历过,而且不止一次。去年我帮一个金融风控团队做模型升级,他们同时维护 v1 和 v2 两个版本——v1 是决策树,v2 是 Transformer。上线当天,运维直接把 v1 的 Pod 全部下线,然后拉起 v2。结果呢?正在处理中的请求全部失败,用户看到“服务不可用”的白色页面——更可怕的是,有 100 多个用户的配额因为请求被中断而永久丢失,第二天投诉电话打爆了客服。从上一篇的配额管理,我们自然要问:当模型从 v1 升级到 v2 时,如何在不停服的情况下平滑切换,同时保持用户的配额和体验?答案不是简单的“切流量”,而是需要设计一套蓝绿部署 + 配额状态同步的机制。痛点拆解:常见的三个致命错误错误一:粗暴的流量切换很多人觉得“蓝绿部署就是两套环境,切一下负载均衡器就行了”。看这个反例:# 反例:直接切换负载均衡权重defswitch_model_version