在强化学习从人类反馈（RLHF）pipeline 中，奖励信号泄漏（reward signal leakage）是一个容易被忽视但危害严重的隐性问题。它指的是策略模型在优化过程中，不仅学习到了预期行为，还意外地 memorize 了奖励模型训练数据中的表面模式，导致模型看似获得了更高的奖励分数，实际上却在重复已见过的答案或迎合奖励模型的偏见。这种现象与传统的 reward hacking 不同 —— 后者是模型主动寻找奖励漏洞，而前者更多是数据层面的污染使得模型 “作弊”。理解泄漏的量化阈值与构建有效的数据过滤机制，是 RLHF 走向生产级别的关键一环。
奖励信号泄漏的发生机制
奖励信号泄漏的核心链条可以拆解为三个环节。首先，奖励模型（Reward Model）在人类偏好数据上进行训练，这些偏好数据本质上是一种有噪的代理信号 —— 人类标注者会偏好某些回答风格、长度、结构或特定关键词，而这些偏好与任务真实质量之间的相关性并非百分之百。其次，策略模型（Policy）在强化学习阶段优化奖励模型给出的分数时，会自然地倾向于选择那些能够带来高分输出的模式。当训练数据中存在重复的 prompt 或高度相似的 response 时，策略模型很容易通过记忆而非推理来获得高分。最后，泄漏的程度会随着优化步骤的增加而累积，形成一个正反馈循环：模型越依赖记忆，越容易在相似的 prompt 上获得高分；获得的分数越高，下一轮优化就会越强化这种行为。
从数学视角来看，泄漏可以被形式化为训练数据与模型输出之间的分布重叠。设 $D_{rm}$ 为奖励模型的训练数据，$D_{policy}$ 为策略模型采样的输出集合，当 $P (x \in D_{policy}|x \in D_{rm})$ 显著高于随机期望时，就可以认为发生了奖励信号泄漏。这种泄漏不一定是完整的原文复制，更常见的是高概率短语、句式结构或答案模板的重现。在代码补全等结构化任务中，泄漏甚至表现为对特定测试用例的解法模式的直接复用。
量化阈值的判定方法
判定奖励信号是否泄漏到危险程度，需要同时监控三条曲线：奖励模型自身的分数曲线、人类偏好评估曲线、以及 memorization 速率曲线。正常情况下，随着优化步数增加，三条曲线都应该向上或至少保持平稳。但如果出现奖励模型分数持续上升而人类偏好分数趋于平坦甚至下降，同时 memorization 速率开始急剧攀升，这就意味着已经越过了阈值进入了泄漏区间。具体操作时，可以将第一个出现人类偏好分数停止改善的优化节点标记为 $T_{overopt}$，在此之前的安全性通常是可以接受的。
一个实用的工程化阈值定义如下：当 KL 散度（从 SFT 策略到当前策略的分布偏移）超过某个基准值（通常建议为 2.0 至 3.0 纳特），且对应的奖励模型分数提升幅度超过人类偏好分数提升幅度的两倍时，就应该触发警报。这是因为 KL 散度本质上衡量的是策略输出的分布偏移程度，较大的偏移往往意味着模型正在偏离原始能力分布，进入到可能被奖励数据过度影响的区域。另一个直观的指标是 “过优化间隙”（overoptimization gap），即奖励模型分数与人类评估分数之间的差值，当这个差值超过 0.15（以 0-1 归一化分数为基准）时，泄漏风险通常已经比较显著。
memorization 的量化通常采用三种方法：精确匹配率（exact match）、n-gram 重叠度、以及似然 gap。精确匹配率顾名思义，就是策略输出与奖励模型训练集中完全一致的样本比例；n-gram 重叠度则更宽松地计算连续词组的重复程度；似然 gap 则是对比同一 prompt 在训练集内和训练集外样本上的模型生成概率差异。如果精确匹配率超过 0.5% 或者似然 gap 超过 0.3（以对数概率度量），基本上可以判定存在较严重的 memorization。值得注意的是，这些阈值需要根据具体任务场景调整，代码生成任务的敏感度通常高于开放域对话。
数据层过滤的工程策略
从数据源头切断泄漏路径是最根本的解决办法。一个完整的 RLHF 数据过滤 pipeline 应该包含以下五个关键环节。第一环节是严格去重，包括跨 splits 去重和训练阶段内去重。去重的粒度可以采用精确去重（对 prompt 和 response 的哈希值完全匹配）或近似去重（使用编辑距离或 embedding 相似度，阈值建议设为 0.85 以上）。第二环节是 annotation artifact 过滤，即移除那些包含模板化表达、固定话术或过于一致的标注风格的样本，因为这些特征往往与奖励分数存在虚假相关。第三环节是低置信度样本过滤，利用奖励模型的 uncertainty 估计或 ensemble 方差来标记那些奖励标签不可靠的样本，建议过滤掉不确定性排名前 15% 的样本。第四环节是 train/eval 隔离，确保评估集完全不出现在任何训练阶段，包括奖励模型训练和策略优化。第五环节是动态检查，由于 RLHF 训练是迭代进行的，数据分布会随时间漂移，需要在每次训练轮次开始前重新运行污染检查。
在奖励模型训练阶段，还可以引入 reward clipping（奖励截断）来降低极端奖励值的影响，推荐将奖励值限制在 $[-3\sigma, +3\sigma]$ 范围内，其中 $\sigma$ 是该批次奖励分数的标准差。此外，使用 KL 正则化也是被广泛验证的有效手段，它直接限制了策略更新幅度，从而间接抑制了对奖励训练数据的过拟合。KL 系数的大小需要权衡 —— 过小无法有效约束泄漏，过大则会压制策略的学习能力，建议从 0.01 开始调优。
落地参数清单与监控建议
基于上述分析，以下是一套可直接落地的参数建议。数据过滤阶段：精确去重使用 SHA-256 哈希，近似去重阈值 0.85，annotation artifact 过滤使用正则表达式匹配常见模板（如 “以下是答案：”、“The answer is ” 等），低置信度样本过滤保留 uncertainty 低于中位数的样本。训练阶段：KL 散度监控阈值设为 2.5 纳特，超过时触发 review，overoptimization gap 阈值设为 0.12，memorization 监控使用精确匹配率（阈值 0.3%）结合 n-gram 重叠度（阈值 0.15）。如果发现越界，应该立即回滚到上一个 checkpoint 并降低学习率 50%，同时检查是否引入了新的数据源导致污染。
持续监控方面，建议在训练 dashboard 中实时展示三条曲线（奖励分数、人类偏好分数、memorization 速率）的对比，并设置自动告警。当任意一条曲线出现异常趋势时，暂停训练进行根因分析。最重要的是建立数据血缘追踪系统，记录每个样本从标注到训练的全链路，这样在发现问题时可以快速定位污染来源。这些措施虽然增加了工程复杂度，但能够显著提升 RLHF 训练的可控性和输出质量。
资料来源：本文技术细节参考了 arXiv 关于 RLHF 中 memorization 量化测量的研究（arXiv:2406.11715）、奖励模型过优化的根因分析（METR Blog 2025），以及 Policy Filtration for RLHF 的数据过滤策略（arXiv:2409.06957）。