I IT 面试题库
给定一份 200 页技术手册,如何设计切片与向量化索引流程?固定长度、递归字符、语义切分各怎么选?overlap 有什么用?
中级场景题算法工程师后端开发工程师RAG切片Chunk向量化索引
题目
考察点:理解 RAG 索引阶段的核心工程决策——切片策略(chunk size / 切分方式 / overlap)对检索召回的影响。
参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 74 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
- 先定切分粒度(chunk size):太小会丢失上下文(一个概念被切碎),太大会引入噪声且浪费 token;技术手册常用 500–1000 字符、重叠 50–150 字符(overlap),让跨边界的概念在相邻块里都完整保留。
- 切分方式按结构选:固定长度/递归字符切分(RecursiveCharacterTextSplitter)按段落→句子→字符逐级切,最通用;语义切分按 embedding 相似度断句,保证每块语义内聚、召回更准但成本高易碎;结构化切分按 Markdown 标题/表格保留文档层级,最利于手册类。
- 向量化:选用与检索语言匹配的 embedding 模型(中文场景选 bge/m3e 等),统一归一化;把切片写入向量库(FAISS/Chroma)并建立元数据(页码、章节、来源)。
- 落地建议:先用递归字符切分跑通基线,再按“答非所问”的 bad case 逐步切到语义/结构切分,避免过早优化。
题目与答案就在本页;收藏、批注和错题重练在应用内