I IT 面试题库
如何科学评测大语言模型的效果?困惑度(PPL)、标准基准(MMLU/GSM8K)与人工评估各自的局限是什么?
中级简答题算法工程师机器学习工程师LLM应用开发工程师数据科学家模型评估困惑度MMLU基准测试人工评估
题目
考察点:大模型效果度量的方法论,以及不同评测手段的适用范围与盲区。
参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 45 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
- 困惑度(PPL):衡量语言模型对测试文本的「惊讶程度」,越低越流畅,适合比较同族模型的生成置信度;但它只看下一个词的预测概率,无法反映事实正确性、安全性或指令遵循,且对分词方式敏感。
- 标准基准(MMLU/GSM8K 等):用多选或解题数据集客观打分,便于横向对比;局限是易「刷榜」、测试集泄漏、且与真实业务分布有偏差,高分不等于好用。
- 人工评估:由人判断流畅度、相关性、事实准确性与安全性,最贴近用户体验;缺点是成本高、慢、评分者间一致性难保证,难以规模化。
- 实践建议:三者在生命周期中互补——研发期用 PPL 快速迭代、用基准做横向对比、上线前用分层抽样人工评估关键场景,并结合线上 A/B 与用户反馈持续监控(如幻觉率、任务完成率)。
题目与答案就在本页;收藏、批注和错题重练在应用内