IT 面试题库

Temperature、Top-p、Top-k 分别控制什么?生产环境该怎么设置?为什么 Temperature 设为 0,输出仍然可能不完全一致?

初级简答题LLM应用开发工程师算法工程师采样参数TemperatureTop-p输出稳定性

题目

考察点:解码参数的作用机制,以及输出稳定性问题的归因能力。

参考答案

内容深度:详细 · 无代码示例 · 来源:外部链接 · 未复核 · 54 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

要点:模型每一步会给词表中每个候选 Token 打一个分数(logits),分数越高说明越可能出现在这里。原始分数经过 softmax 得到概率分布,再通过采样决定输出哪个 Token。解码参数就是在这个“打分 → 概率 → 抽签”的过程中施加控制。

Temperature 调分布形状:在 softmax 之前把分数除以温度值 T,即 p(t) = softmax(z_t / T)。以“今天天气真___”为例:T=0.2 时分布变尖,“好”约 99.99%;T=1.0 保持原始分布,“好”约 81.21%、“不错”约 13.42%;T=1.5 时分布变平,“好”约 66.85%、“不错”约 20.14%、“棒”约 9.67%。温度越低输出越确定,越高越随机。

Top-p / Top-k 砍候选池:Top-k = 3 固定保留概率最高的 3 个候选;Top-p = 0.9 从高到低累加概率,候选数量随分布变化(示例中“好 + 不错”已达 94.63%,候选集只保留这两个;如果第一名自身超过 90%,就只留一个)。

Penalty 系列用来缓解复读:Repetition Penalty 降低所有已出现 Token 的概率,Presence Penalty 只要出现过就扣分,Frequency Penalty 出现次数越多扣分越重。注意 JSON 对象里 "name"、"score" 等必要重复字段会被误伤;RAG 问答开 Presence Penalty 会让模型倾向引入检索内容之外的新词,削弱对证据的忠实度。没有明确调参依据时保留默认值。

推荐配置(经验值,非硬规则)

| 场景 | Temperature | Top-p | 其他建议 |

| --- | --- | --- | --- |

| JSON / 结构化输出 | 0 ~ 0.3 | 1.0 | 配合 Strict Mode + 重试策略 |

| 代码评审 / 技术分析 | 0.4 ~ 0.7 | 0.9 | 结合 CoT Prompt |

| 多轮对话 | 0.6 ~ 0.8 | 0.9 | 控制历史消息长度 |

| 创意写作 / 头脑风暴 | 0.8 ~ 1.2 | 0.95 | 接受多样性,做好后处理 |

| 推理模型 | 查模型文档 | 查模型文档 | 过滤不支持的参数 |

为什么 T=0 仍不一致:T=0 通常按贪婪解码处理,即每步选最高分,但结果仍受模型版本和服务端实现影响。常见原因包括:模型版本更新导致底层权重变化;跨区域调用时不同集群可能部署不同版本;服务端解码实现、并行计算和后端配置发生变化。如果 API 支持 seed,可以和固定模型版本、固定 Prompt、固定采样参数一起保存,但 seed 通常只提供尽力而为的可复现性,不保证逐字一致(部分供应商也没有公开 seed)。

工程补充:贪婪解码虽然最稳定,但可能更容易陷入重复循环。另外达到 Max Tokens 会直接停止,即使 JSON 还缺右括号,收到 finish_reason=length 应把结果标记为截断、不能交给下游执行;Stop Sequences 与业务文本重合也会截断关键字段。CI/CD 里把真实 LLM 调用留给冒烟测试,需要稳定复现的逻辑测试用 Mock。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题