参考答案
内容深度:基础 · 无代码示例 · 来源:外部链接 · 未复核 · 28 天前更新
总体指标的盲区
- 平均值会掩盖长尾/关键子群:某个人群/场景错误率高,但总体只下降 1%;上线后可能集中爆雷。
- 指标和业务目标可能不一致(离线 accuracy vs 线上转化/投诉)。
做法
- 按用户群、场景、输入长度、类别、置信度分层看指标;抽样看真实失败案例,归纳错误类型(数据、标注、模型、后处理)。
- 做混淆矩阵/切片评估,找高置信错误和系统性偏差;对关键切片设门槛,不只看平均。
闭环
- 把失败样本回流训练/评测集,做 ablation 验证修复;上线后监控切片指标和用户反馈,避免「离线涨点、线上无效」。