IT 面试题库

Agent 应用的评测为什么比 RAG 更难?任务完成率、工具调用精确率与召回率、轨迹准确率、错误恢复率分别该怎么定义?

高级简答题AI Agent开发工程师算法工程师Agent评测任务完成率轨迹准确率错误恢复率

题目

考察点:Agent 评测体系的设计能力,尤其是 Outcome 与 Transcript 分离的思维。

参考答案

内容深度:详细 · 无代码示例 · 来源:外部链接 · 未复核 · 54 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

要点:Agent 评测比 RAG 更难。RAG 通常还能拆成“检索”和“生成”两段,Agent 会在多轮里调用工具、修改状态、读取反馈,前一步的小错可能在后面被放大。

第一步:把 Outcome 和 Transcript 分开看

只评最终文本容易把“说得像成功了”误判成“真的成功了”:回复“退款已处理”的 Agent 可能跳过了身份校验;测试通过的 Coding Agent 可能改了不该改的文件。

第二步:四条检查层——最终状态(外部状态是否正确)、决策与执行(工具、参数和关键动作是否合理)、运行稳定性(遇故障、重复运行能否稳住)、交互与边界(是否守住权限与风险边界)。

第三步:关键指标的定义

第四步:多次运行一致性

同一条任务跑一次通过不代表稳定可用。要分开记录 pass@k(k 次里至少一次成功,反映能力上限)和 pass^k(k 次全成功,更接近生产稳定性)。若单次成功率稳定在 90% 且各次独立,连续 5 次都成功的概率约 59%——支付、退款、合规类业务必须把连续成功率作为稳定性指标。

评测用例的六个对象:Task(输入 + 成功标准)、Trial(一次运行)、Grader(单元测试、JSON Schema、LLM-as-Judge、人工复核)、Transcript/Trace、Outcome、Eval Harness。设计前先确认 Agent 在完成哪类任务——对话/信息型、任务执行型和混合型的发布门槛并不相同。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题