I IT 面试题库
如何设计一套质量度量体系?缺陷逃逸率、覆盖率、MTTR、flaky 率这些指标分别该怎么用、容易掉进什么坑?
中级简答题测试架构师测试工程师质量度量缺陷逃逸率覆盖率DORA
题目
考察测试架构师用数据驱动质量改进的能力:指标要能指导行动,而不是变成数字游戏。
参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 29 天前更新
先明确度量目的
- 度量是为了发现系统性问题、决定投资优先级,不是给个人排名;先选 3–5 个能驱动行动的指标,稳定后再扩展。
常用指标及用法
- 缺陷逃逸率:线上/发布后发现的问题数 ÷ 总缺陷数。反映测试有效性,适合按服务、按版本看趋势;要区分严重级别,避免小问题淹没关键缺陷。
- 变更失败率 / MTTR:来自 DORA 四指标,衡量发布质量和恢复能力;适合和发布频率、 lead time 一起看。
- 覆盖率:分需求覆盖率、接口覆盖率、代码行/分支覆盖率。覆盖率是“测了什么”的下限,不代表“测得对”;看趋势和薄弱模块,不设 100% 硬指标。
- flaky 率:不稳定用例数 ÷ 总用例数,或重跑通过率。flaky 会摧毁团队对自动化的信任,要设配额、隔离、限期修复。
- 执行时长 / 反馈时间:CI 从提交到出结果的时间,直接影响开发者是否愿意跑测试。
常见坑
- 古德哈特定律:指标一旦变成考核目标就会被操纵,例如为了覆盖率写无断言测试、为了逃逸率瞒报缺陷。
- 只看绝对值不看基线:不同服务历史、复杂度不同,应看趋势和同类对比。
- 指标太多:看板几十个数字,没人知道该做什么;每个指标都要对应一个改进动作和 owner。
落地方式
- 质量看板按服务展示趋势 + 异常;每月复盘“哪个指标变差、根因是什么、下月做什么”;门禁只使用少量高置信指标。
题目与答案就在本页;收藏、批注和错题重练在应用内