I IT 面试题库
AI 产品的成功指标怎么定?离线评测、在线指标和人工评估如何组合?
高级简答题AI产品工程师离线评测在线指标人工评估AI产品
题目
考察 AI 产品评估体系,避免只看准确率或 DAU。
参考答案
内容深度:基础 · 无代码示例 · 来源:外部链接 · 未复核 · 28 天前更新
先定任务成功
- 把「回答好」拆成可判定标准:正确性、完整性、引用可追溯、格式合规、拒答/安全;不同任务权重不同。
- 离线评测集要覆盖高频、长尾、对抗/边界;固定版本,避免只挑好样本。
三层指标
- 离线:准确率/召回、事实一致性、引用命中、延迟/成本;在线:任务完成率、采纳率、追问率、投诉/举报、留存;人工:抽样盲评 + 错误归因。
- 在线指标要和业务结果挂钩(如客服工单减少、转化提升),不要只追消息数/停留时长。
闭环
- 上线前设门槛和回滚条件;上线后按场景/用户分层监控,把失败样本回流评测集;模型/提示/检索变更都要回归。
题目与答案就在本页;收藏、批注和错题重练在应用内