参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 74 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
- 四大核心指标:忠实度(Faithfulness)衡量答案是否完全由检索上下文支撑、无编造(即幻觉程度);答案相关性(Answer Relevance)衡量答案是否切题有用;上下文精度(Context Precision)衡量 top-k 里相关块是否排在前面(考验重排);上下文召回(Context Recall)衡量正确答案所需信息是否都在召回上下文里(考验检索)。
- RAGAS 思路:用 LLM 作评判员(LLM-as-judge),按上述维度对“查询-上下文-答案”三元组自动打分,可在无人工标注时批量回归。
- 局限与补充:LLM 评判本身有偏差、对长答案不稳定;仍需保留小批人工抽检与线上 bad-case 看板;指标好不等于业务好,要结合用户对“有用性”的反馈。