Temperature与Top-p有什么区别？大模型采样参数解析

Temperature 和 Top-p 都会影响大模型选择下一个输出 token 的方式，但二者的作用层面完全不同。Temperature 改变的是候选项之间的概率分布形态，而 Top-p 则是根据累计概率来缩小候选集合的范围。如果简单地把二者都理解为调节“创造力”的开关，很容易忽略它们在采样过程中的本质区别。

先看分数、概率和采样

在理解这两个参数之前，需要先厘清大模型生成文本的基本流程。这个过程可以拆解为三个环节：首先，模型为所有可能的候选项生成分数（logits）；其次，将这些分数转换为概率；最后，按照概率进行加权采样。

需要注意的是，模型输出的原始分数并不是百分比，也不能直接代表可能性大小。它们必须经过转换（通常是 Softmax 函数），才能形成可用于选择的概率分布。

假设当前步骤有五个候选项：“马克”、“科技”、“AI”、“自行车”和“hello”。模型给它们打出的分数各不相同。经过转换后，这些分数变成了不同的概率值。加权采样的含义是：概率较高的候选项被选中的机会更大，但这并不意味着它“每次一定”会被选中。这种随机性正是大模型能够生成多样化内容的基础。

Temperature 改变分布的集中程度

Temperature（温度）参数直接介入 Softmax 的计算过程。其基本逻辑是：先将原始分数除以温度值 T，再进行指数运算和归一化。

对于正温度值而言，降低 T 会放大分数之间的差异。这意味着高分候选项的概率会变得更加突出，分布更加集中；反之，提高 T 则会使分布变得相对平缓，让低分候选项也有更多机会被选中。

低温度下分数缩放与最高候选概率的示例

我们可以通过一个具体示例来观察这种变化。假设最高分候选项的分数是 4.2，另外两个较接近的分数分别是 4.1 和 3.9。

当温度 T=1 时，最高分候选项的概率约为 36%。但如果将温度降低到 T=0.1，原始分数会被分别缩放为 42、41 和 39。经过重新计算，最高分候选项的概率会上升到约 71%。

这个例子说明，Temperature 调整的是候选项被抽中的相对机会，而不是给某个词贴上“正确”或“错误”的标签。低温度可以让模型的选择更加确定和集中，适合需要事实准确性的场景；高温度则让更多候选项获得机会，适合需要发散思维的场景。但无论温度高低，都不能单靠它来验证答案是否符合事实，评价结果仍需回到具体任务本身。

Top-p 用累计概率确定候选集合

与 Temperature 不同，Top-p（也称为核采样）关注的是概率阈值。它的操作逻辑是：将所有候选项按概率从高到低排列，然后从最高概率开始累加，直到累计值达到设定的阈值 p。此时，保留这部分高概率候选项构成一个新的集合，尾部未被保留的候选项则直接剔除，不再参与这一轮的采样。

随后，系统会对保留下来的候选项重新进行归一化，使它们的概率之和为 1，再从中进行选择。

过滤后保留的三个候选项及归一化概率

图解展示了一个典型过程：假设原始候选项的概率分别为 36%、32%、26%、3% 和 2%。如果设定 Top-p 为 0.9（即 90%），系统会保留前三项（36%+32%+26%=94%，超过阈值前的累积项），而剔除后两项。

过滤后，剩下的三个候选项会被重新表示为约 38%、34% 和 28%。原本概率很小的尾部项被移出候选集合，剩余项之间的相对比例决定了最终的采样机会。

需要明确的是，Top-p 不是关键词过滤器。它依据的是概率大小进行筛选，不能理解为自动识别并删除所有无关或错误的词。它限制的是这一轮采样时可选项的范围，从而避免模型选中那些概率极低、通常不合逻辑的“长尾”词汇。

区别在于改概率，还是选集合

总结来说，Temperature 和 Top-p 的核心区别在于：前者主要调整概率分布的形状，改变高低概率之间的差距；后者主要截取分布中的一部分，决定哪些候选项能够留下参与竞争。

二者可以同时作用于同一轮输出。因此，在分析模型生成结果时，需要分清是哪一层机制发生了变化。如果希望模型输出更稳定，可以降低 Temperature 或减小 Top-p；如果希望增加多样性，可以提高 Temperature 或增大 Top-p。

在学习和调整这些参数时，建议先固定任务和其他条件，单独观察一个参数变化后的输出效果，这样更容易判断原因。此外，不同的 API 接口支持的参数范围、默认值以及是否允许同时调整，可能有所不同。具体的配置应以实际使用的服务文档为准，不能将一个概率示例当成所有模型的统一配置标准。