参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 40 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
- 离线评估:用历史日志算 AUC、Precision / Recall、NDCG、MAP 等。但推荐是用户级序列决策,普通 AUC 把不同用户样本混在一起,不能反映「同一用户内排序好坏」,因此引入 GAUC(按用户分组算 AUC 再按曝光加权),更贴合业务。
- 线上评估:离线好 ≠ 线上好,必须用 A/B 实验看 CTR、人均时长、留存、GMV 等业务指标;注意新模型可能损害长期留存而短期 CTR 上涨,需多看留存。
- 无偏评估:日志由旧策略产生,存在偏置(曝光偏差、位置偏差),直接在日志上评估会高估旧策略、误判新策略。用 IPS(Inverse Propensity Score,逆倾向加权) 对观测样本按被曝光概率加权,估计「随机曝光下」的真实效果,得到无偏估计。
- 总结:离线快速迭代 → 离线 + 仿真回放 → 小流量 A/A、A/B → 全量,分层把关。