IT 面试题库

Token 是什么?为什么中文、英文、代码消耗的 Token 不一样?Token 和上下文窗口怎样共同决定成本与效果?

初级简答题AI应用开发工程师算法工程师Token上下文窗口Token预算成本核算

题目

考察点:对 LLM 运行机制的基础理解,以及把 Token 换算到容量规划和成本核算的能力。

参考答案

内容深度:详细 · 含示例/代码 · 来源:外部链接 · 未复核 · 54 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

要点:Token 是模型每一步“补”的文本碎片。一次调用从 Token 化开始,模型每生成一个 Token 就把它加入上下文并预测下一个,这个过程叫自回归生成(Autoregressive Generation)。

为什么不同内容的 Token 数不一样

如果固定按字切,词表小但序列会变长;固定按词切能缩短序列,但中文词组数量会让词表快速膨胀。BPE、Unigram 等子词切分算法在两者之间取舍:高频片段尽量作为整体保留,低频词继续拆小。所以 Token 和字、词都没有固定的一一对应关系——英文单词可能占多个 Token,中文也可能一词多 Token,或多字合成一个 Token。代码里的缩进、符号、运算符和变量名更容易被单独切分,压缩率通常低于自然语言。

经验换算值(只用于预算,不能用于结算)

中文歧义、生僻字和低频专业术语被切成什么粒度,会直接影响模型对文本的处理效果。此外 BOS、EOS、PAD、工具调用标记等特殊 Token 对用户不可见但同样占用窗口;多模态输入按尺寸折算,例如 Anthropic 的近似公式是 tokens ≈ width × height / 750。

上下文窗口的容量边界

模型标注的 128K、200K、1M 指一次调用可容纳的 Token 上限,这部分容量要同时分给三块:固定内容(System Prompt、工具 Schema、格式标记)、本次输入(User Prompt、历史消息、RAG 片段)、生成预算。大多数模型输入输出合并计算,部分供应商(如 Gemini)分别设置上限。

window ≥ input_tokens + max_output_tokens

注意上下文窗口 ≠ 最大生成长度,参数名可能是 max_tokens、max_completion_tokens 或 max_output_tokens,不要按供应商名称推断上限。

落地建议:预算阶段用经验值并留 10%~20% 安全余量,计费与告警一律读 API 返回的 usage(含缓存输入 Token、输出 Token、推理 Token),精确计数用官方 Tokenizer 工具。想省钱可用 Prompt Caching 复用前缀:把不变内容(System Prompt、工具定义、RAG Context)放前面,变化内容(User Prompt)放后面,并监控缓存读取/写入 Token 验证命中率。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题