IT 面试题库

模型上线后效果为什么会慢慢变差?数据漂移与概念漂移如何区分、怎么监控、再训练由什么触发?

中级简答题MLOps工程师机器学习工程师模型部署工程师数据漂移概念漂移PSI再训练

题目

考察 MLOps 的模型退化管理:两类漂移的定义与检测、监控指标设计与再训练策略,是机器学习工程化面试的核心题。

参考答案

内容深度:详细 · 无代码示例 · 来源:外部链接 · 未复核 · 49 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

为什么模型会退化

模型学的是「训练时的分布」。线上世界在变:用户兴趣迁移、竞品改版、季节因素、上游埋点改动——P(输入) 或 P(输出|输入) 变了,静态模型必然劣化。

两类漂移(面试必区分)

  1. 数据漂移(Data Drift / 协变量偏移):输入分布变了,但输入→输出的关系没变。例:疫情后出行 App 的「通勤路线」占比骤降;特征「用户年龄」的上游埋点口径改了导致均值偏移;
  2. 概念漂移(Concept Drift):输入→输出的关系本身变了。同一份输入,正确标签变了。例:风控里「深夜大额消费」以前是盗刷信号、直播打赏普及后变成正常行为;商品价格预测中「口罩」的需求规律在 2020 年彻底改变。

区分方法:数据漂移时模型输出分布也会变但准确率未必掉(可能只是新输入变多);概念漂移准确率/业务指标直接下滑。工程上前者看特征分布监控就能发现,后者必须看真实标签回流的评估指标。

监控怎么建

再训练触发策略

  1. 定时:按业务节奏(周/月)兜底,简单但可能不及时或浪费;
  2. 性能触发:线上指标跌破阈值(AUC 掉 3 个点、业务转化率连跌 N 天)→ 立即重训;
  3. 分布触发:PSI 等漂移指标超阈值 → 触发评估流程而非直接重训(先排查是漂移还是事故);
  4. 生产环境配套:影子模式(新模型并行打分不影响线上)、A/B 或 interleaving 验证、回滚能力(模型版本与特征版本一起存档,可回退)。
加分点:漂移监控必须带特征血缘——否则「上游改了字段枚举值」这种事故会被误判为漂移,重训也救不了坏数据。
练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题