考察点:Agent 评测体系的设计能力,尤其是 Outcome 与 Transcript 分离的思维。
要点:Agent 评测比 RAG 更难。RAG 通常还能拆成“检索”和“生成”两段,Agent 会在多轮里调用工具、修改状态、读取反馈,前一步的小错可能在后面被放大。
第一步:把 Outcome 和 Transcript 分开看
只评最终文本容易把“说得像成功了”误判成“真的成功了”:回复“退款已处理”的 Agent 可能跳过了身份校验;测试通过的 Coding Agent 可能改了不该改的文件。
第二步:四条检查层——最终状态(外部状态是否正确)、决策与执行(工具、参数和关键动作是否合理)、运行稳定性(遇故障、重复运行能否稳住)、交互与边界(是否守住权限与风险边界)。
第三步:关键指标的定义
任务完成率 = 通过所有完成标准的任务数 / 总任务数。工具失败后进入预定义恢复结果的次数 / 工具失败总次数。恢复结果可以是补齐参数后完成、换方式重试成功,也可以是在高风险操作前安全停止并转人工。不同结果应分开计数,不能把“任务完成”和“安全退出”混成同一种成功。第四步:多次运行一致性
同一条任务跑一次通过不代表稳定可用。要分开记录 pass@k(k 次里至少一次成功,反映能力上限)和 pass^k(k 次全成功,更接近生产稳定性)。若单次成功率稳定在 90% 且各次独立,连续 5 次都成功的概率约 59%——支付、退款、合规类业务必须把连续成功率作为稳定性指标。
评测用例的六个对象:Task(输入 + 成功标准)、Trial(一次运行)、Grader(单元测试、JSON Schema、LLM-as-Judge、人工复核)、Transcript/Trace、Outcome、Eval Harness。设计前先确认 Agent 在完成哪类任务——对话/信息型、任务执行型和混合型的发布门槛并不相同。
题目与答案就在本页;收藏、批注和错题重练在应用内