I IT 面试题库
AI/LLM 辅助测试能做什么、不能做什么?如何评估 AI 生成用例的质量和风险?
中级开放讨论测试架构师测试开发工程师AI测试LLM用例生成风险治理
题目
考察对 AI 辅助测试的理性认知:既不神化,也不因风险完全拒绝,而是把它放进可验证的流程。
参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 29 天前更新
能做的事
- 从需求/接口文档生成初始用例和边界条件,帮人查漏;把失败日志、堆栈、截图总结成可读的缺陷描述;对 flaky 用例做聚类和初步归因;生成测试数据、Mock 响应;做视觉回归的差异描述。
- 适合“生成候选 + 人工筛选”的场景,不适合直接作为发布门禁的唯一依据。
不能做/风险
- 会编造预期结果和接口字段;同一输入输出不稳定;可能泄露需求、代码、用户数据到外部模型;提示词注入会污染结果;训练数据偏差导致只覆盖常见路径,漏掉业务特有边界。
- AI 生成的用例可能“看起来合理但不可执行”,也可能把错误答案写得很自信。
质量评估
- 建一个小型 golden set(人工确认过的需求/用例/缺陷),定期评估 AI 的召回、准确、可执行率和误报率;按任务分别评估,不用一个总分。
- 要求每条 AI 用例带来源(需求段落/接口定义)和可追溯 ID;人工 review 后才能进回归集;设置采纳率和返工率指标。
落地边界
- 敏感数据脱敏/本地化模型;限制外部调用;AI 只做建议,门禁仍由确定性测试和人工决定;对 AI 生成内容做版本记录,出问题可回滚。
题目与答案就在本页;收藏、批注和错题重练在应用内