从延迟成本、稳定性、评测监控三方面总结工程化对策。
延迟与成本:Agent 多轮循环慢且贵——能 Chain 不 Agent、减少工具数、用小模型做路由/草稿 + 大模型做终稿、流式输出改善体感、缓存(语义缓存命中相似问题)。
稳定性:① 模型/网络抖动——超时、重试(指数退避)、fallback 链(主模型挂了切备用);② 输出不可控——结构化输出 parser + 校验失败自动重试,Prompt 加 few-shot 与明确格式约束;③ 幻觉——RAG 化(答案要求带引用),检索不足时宁说不知道;④ 长上下文溢出——分段摘要、记忆窗口、上下文裁剪策略。
评测与监控:① 离线评测集(golden set)跑准确率/相关性,每次改 Prompt 回归——不评测就上线的 Prompt 迟早翻车;② 在线追踪 LangSmith/Langfuse:trace 每次调用的 Prompt、工具、token、延迟,定位坏 case;③ 收集用户反馈(点赞/纠错)做数据飞轮;④ 密钥与注入防护:用户输入与检索内容当不可信数据处理,防 Prompt 注入越权调工具。
题目与答案就在本页;收藏、批注和错题重练在应用内