参考答案
内容深度:详细 · 无代码示例 · 来源:外部链接 · 未复核 · 49 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
为什么模型会退化
模型学的是「训练时的分布」。线上世界在变:用户兴趣迁移、竞品改版、季节因素、上游埋点改动——P(输入) 或 P(输出|输入) 变了,静态模型必然劣化。
两类漂移(面试必区分)
- 数据漂移(Data Drift / 协变量偏移):输入分布变了,但输入→输出的关系没变。例:疫情后出行 App 的「通勤路线」占比骤降;特征「用户年龄」的上游埋点口径改了导致均值偏移;
- 概念漂移(Concept Drift):输入→输出的关系本身变了。同一份输入,正确标签变了。例:风控里「深夜大额消费」以前是盗刷信号、直播打赏普及后变成正常行为;商品价格预测中「口罩」的需求规律在 2020 年彻底改变。
区分方法:数据漂移时模型输出分布也会变但准确率未必掉(可能只是新输入变多);概念漂移准确率/业务指标直接下滑。工程上前者看特征分布监控就能发现,后者必须看真实标签回流的评估指标。
监控怎么建
- 特征层:对每个特征做训练 vs 线上分布对比(PSI > 0.2 告警、KS 检验、分箱占比偏移);数值特征盯均值/分位数,类别特征盯类别覆盖率(新类别突现=上游枚举变了,常是埋点事故);
- 输出层:预测分布漂移(预测均分整体上移可能是输入变了);
- 效果层:延迟标签回流(电商转化 T+1、信贷违约 T+90)算线上 AUC/坏账率——这是判定退化的金标准;
- 数据质量层:NULL 率、取值域突变(这些是事故不是漂移,要的是报警修数据)。
再训练触发策略
- 定时:按业务节奏(周/月)兜底,简单但可能不及时或浪费;
- 性能触发:线上指标跌破阈值(AUC 掉 3 个点、业务转化率连跌 N 天)→ 立即重训;
- 分布触发:PSI 等漂移指标超阈值 → 触发评估流程而非直接重训(先排查是漂移还是事故);
- 生产环境配套:影子模式(新模型并行打分不影响线上)、A/B 或 interleaving 验证、回滚能力(模型版本与特征版本一起存档,可回退)。
加分点:漂移监控必须带特征血缘——否则「上游改了字段枚举值」这种事故会被误判为漂移,重训也救不了坏数据。