GPT数值采样的概率偏差与温度调控策略

引言：一个简单的实验揭示的深层问题

当你让 GPT 在 1 到 100 之间 "随机" 选一个数字时，它并不会均匀分布。实验数据显示，某些数字如 42、72、73 的出现频率显著高于其他数字，而个位数、重复数字（11、22）以及 5 和 10 的倍数则被系统性回避。这一现象并非偶然，而是大型语言模型采样机制与人类认知偏好的叠加结果。

本文基于对 GPT 系列模型在数值猜测任务中的行为分析，深入探讨温度参数（temperature）对采样随机性的调控机制，并提出在实际工程场景中实现可重复采样的参数配置策略。

偏差分布：LLM 的 "偏好数字"

多项独立实验表明，当要求 LLM 在 1-100 范围内选择数字时，输出分布呈现明显的非均匀特征。根据 Anand S 的实验数据，GPT-3.5 Turbo 最常选择的数字包括 42、47、72、73 等；Claude 3 Haiku 表现出对 42 的显著偏好；而 Google Gemini 1.0 Pro 则更倾向于选择 72。

这种偏差模式与人类的心理认知高度吻合。人类在 "随机" 选数时同样会避开个位数（显得 "太简单"）、重复数字（显得 "太规律"）以及 5 和 10 的倍数（显得 "太整齐"），而倾向于选择以 7 结尾的数字（如 37、47、57、67），因为这类数字在主观感受上更具 "随机性"。LLM 通过海量文本训练习得了这些人类偏好，并在采样过程中将其复现。

值得注意的是，42 的高频出现与《银河系漫游指南》的文化影响相关，而 73 的流行原因尚不完全明确。这种训练数据中的隐性偏见直接影响了模型的输出分布。

温度参数：从确定性到多样性的调控杠杆

温度参数是控制 LLM 采样随机性的核心机制。其数学本质是在计算 softmax 概率分布时引入一个缩放因子，从而改变模型对高概率 token 的偏好程度。

低温区间（0.1-0.5）：模型倾向于选择概率最高的 token，输出高度集中且可预测。在数值猜测任务中，这意味着模型会反复选择其 "偏好数字"（如 42 或 72），不同运行之间的结果差异极小。此模式适用于需要稳定、可重复输出的场景，如测试用例生成或确定性内容生产。

中温区间（0.7-1.0）：这是大多数模型的默认配置，在保持一定多样性的同时仍然遵循训练数据中的概率分布。数值选择会呈现更广泛的分布，但 7 结尾数字和中等数值的偏好仍然存在。

高温区间（1.0-2.0）：模型探索低概率 token 的意愿增强，输出分布更加分散。虽然理论上可以增加数值选择的多样性，但由于模型本身的概率分布已经偏向特定数字，高温并不能完全消除这些固有偏差，只是降低了极端重复的概率。

协同采样参数：top-p 与 top-k

温度参数并非独立工作，而是与 top-p（nucleus sampling）和 top-k 参数协同控制采样行为。

top-p 参数通过设定累积概率阈值来限制候选 token 集合。例如，top-p=0.9 表示只从累积概率达到 90% 的最小 token 集合中采样。较低的 top-p 值（如 0.8）会限制选择范围，使输出更加集中；较高的 top-p 值（如 0.95-1.0）则允许更多低概率 token 参与竞争。

top-k 参数直接限制候选 token 的数量。较小的 k 值（如 20-50）产生更集中的输出，较大的 k 值（如 100）则增加多样性。

在数值猜测任务中，这三个参数的交互效果尤为明显。例如，temperature=0.3 + top-p=0.9 + top-k=40 的配置会产生高度集中的输出，而 temperature=1.0 + top-p=0.95 + top-k=100 则会显著增加数值分布的广度。

可重复性策略：工程实践配置

基于上述分析，以下是针对不同场景的可重复性参数配置建议：

场景一：确定性输出（测试与验证）

• temperature: 0.1-0.3
• top-p: 0.8-0.9
• top-k: 20-40
• 预期效果：输出高度集中，适合需要稳定结果的自动化测试场景

场景二：受控多样性（内容生成）

• temperature: 0.7-0.9
• top-p: 0.9-0.95
• top-k: 50-80
• 预期效果：在保持质量的前提下引入适度变化

场景三：最大探索（创意生成）

• temperature: 1.0-1.5
• top-p: 0.95-1.0
• top-k: 100+
• 预期效果：最大化输出多样性，但需接受更高的不稳定性

关键注意事项：即使将 temperature 设为 0，由于硬件浮点运算的非确定性，某些模型仍可能产生微小差异。如需绝对一致的输出，应结合种子值（seed）设置和确定性采样模式（deterministic decoding）。

结论与落地建议

LLM 在数值采样任务中表现出的系统性偏差，本质上是训练数据中人类认知偏好的镜像。温度参数提供了从确定性到多样性的调控手段，但无法完全消除模型固有的概率分布特征。

对于需要真正随机数的应用场景，不应依赖 LLM 的直接输出，而应使用加密安全的随机数生成器。若必须使用 LLM 生成数值，建议采用以下策略：

1. 明确设置 temperature、top-p、top-k 参数组合，避免使用默认值
2. 对输出分布进行采样验证，识别模型的特定偏好
3. 在关键业务场景中，通过后处理逻辑对 LLM 输出进行均匀化转换

理解并掌握这些采样机制，有助于在利用 LLM 强大能力的同时，规避其概率偏差带来的潜在风险。

参考来源：

• LLMs have favorite numbers - Anand S 的实验分析
• OpenAI Community 关于 temperature、top-p 采样的技术讨论

ai-systems