IT 面试题库

企业知识库已经上线,文档每天都在改,用户投诉「回答还停留在旧版本」「删掉的制度还能被搜到」。请设计一套可持续的知识库更新链路。

高级场景题RAG工程师平台工程师知识库更新增量索引Embedding一致性灰度切换

题目

考察点:RAG 系统上线后的数据与索引一致性治理能力,包括增量同步、重建时机和灰度回滚。

参考答案

内容深度:详细 · 无代码示例 · 来源:外部链接 · 未复核 · 54 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

要点:更新要同时满足五个目标——动态性(文档变了索引要跟上,内部制度库可天级,客服和合规条款要求更快)、准确性(召回内容与当前文档一致)、一致性(向量库、元数据库、全文索引任一端漏写或延迟都会出问题)、可回滚、可观测。很多项目只做了“更新”这一步,结果文档改了十版回答还停在第一版、删了敏感文档几个月后还能被召回。

第一件事:Embedding 模型必须保持一致

索引时和查询时必须用同一个 Embedding 模型。不同模型的向量空间不通用:维度不同通常无法放进同一索引,维度相同但模型不同则相似度分数不可比,排序基础已经被破坏。最容易忽视的两个场景是模型升级(3-small 切 3-large,历史数据必须重新编码)和本地模型与 API 模型混用(测试用 sentence-transformers、生产用 OpenAI API,上线后召回率腰斩)。做法是把 embedding_model、embedding_model_version、embedding_dimension 写进元数据,查询时校验,不匹配就拒绝或降级并告警。

第二件事:元数据是增量更新和回滚的前提

每个 Chunk 至少应带上:doc_id、chunk_id、content_hash、version_id、chunk_strategy/size/overlap、source_id、section_path、tenant_id、acl、embedding_*、is_deleted。其中:

第三件事:同步链路与变更检测

链路为:源系统 → 变更检测 → 消息队列 → 解析/切分/哈希 → 去重 → Embedding → 元数据库 + 向量库 + 全文索引 → 监控告警。变更检测有事件驱动、CDC(监听 binlog)和定时轮询三种。生产里更稳的是事件驱动 + 轮询兜底,再用幂等 Key、乱序处理和死信队列保证可靠。

第四件事:增量更新 vs 全量重建

| 维度 | 增量更新 | 全量重建 |

| --- | --- | --- |

| 触发条件 | 文档变更事件 | 定时任务或手动触发 |

| 覆盖范围 | 仅变化的文档 | 整个知识库 |

| 计算成本 | 低 | 高 |

| 更新延迟 | 低,可近实时 | 高,可能需要数小时 |

| 适用场景 | 日常变更、高频更新 | 模型升级、策略调整、故障恢复 |

| 主要风险 | 变更漏检导致数据陈旧 | 占用额外算力;切换不完整时影响服务 |

全量重建通常用于:Embedding 模型升级(硬需求)、Chunk 策略调整、数据结构变更、严重故障恢复、定期健康维护(部分向量库高频删除后会留下 tombstone 和碎片)。

第五件事:灰度切换与回滚

用索引别名避免中断:查询服务只访问别名 prod_index(指向 index_v1)→ 后台构建并验证 index_v2 → 别名切到 index_v2 → 保留旧索引约 7 天用于回滚 → 确认后删除。Embedding 升级按“新索引重建 → 新旧并行对比召回率与答案质量 → 切流 → 保留旧索引 → 删除”执行,不要原地改。

六个高频坑:只插入新向量不删除旧向量;Embedding 模型混用;Chunk 策略变了但历史数据不重建;文档删除后仍被召回;权限元数据不同步;变更检测漏检。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题