强化学习（RL）算法在复杂环境中表现出色，但其核心瓶颈在于信息利用低效，即每个样本提供的有效比特（bits per sample）远低于人类学习水平。这种低效源于奖励信号稀疏、环境随机性高以及探索机制原始，导致模型需海量试错才能收敛策略。根据信息论分析，RL 从环境中提取的信息量往往仅为人类认知的几分之一，实际工程中表现为样本效率低下：训练机器人抓取需数百万步，而人类几分钟即可掌握。
提升样本效率的关键在于针对根源优化三个维度：模型基规划模拟交互、离策略优先回放重用历史数据、探索策略调优加速信息获取。首先，模型基 RL 通过学习环境动态模型（状态转移 P (s'|s,a) 和奖励函数 R (s,a)）生成虚拟轨迹，减少真实环境交互。相比纯模型无关方法，模型基方法样本效率可提升 10-100 倍，尤其在连续控制任务中。工程实现时，先用监督学习从交互数据拟合模型（如 RNN 或 Transformer 预测下一状态），然后用模型 rollout 短序列（长度 K=5-20 步）扩展经验缓冲区。参数建议：模型容量控制在 actor 大小的 1/2，避免过拟合；每 1000 步真实交互后，用模型生成等量虚拟数据混合训练；监控模型预测误差，若 > 0.1 则降低 rollout 长度至 3 步，回退纯模型无关训练。实际 MuJoCo 基准显示，此法将收敛步数从 10^6 降至 10^5。
其次，离策略回放通过优先经验回放（PER）机制显著提升数据利用率。传统均匀采样忽略经验价值，而 PER 基于 TD 误差（|δ|=|r+γV (s')-V (s)|）赋予高优先级，实现非均匀重用。Schaul 等证明，PER 在 Atari 游戏上使 DQN 性能提升 50% 以上。工程落地：缓冲区大小设为 10^6；优先级 p_i=δ_i^α+β（α=0.6-0.7 平衡偏差，β=0.4-0.6 防遗忘）；采样时用 Sum-Tree 结构 O (log N) 查询；每更新后重置低优先级样本比例 < 20%。结合 off-policy actor-critic 如 SAC，PER 可将样本需求减半，但需警惕分布偏移：引入重要性采样权重裁剪（clip=0.2），并每 10k 步清空 20% 旧数据。
最后，探索策略调优是信息获取的前置保障。ε-greedy 易陷局部最优，优选内在动机探索如 RND（随机网络蒸馏）：预测随机目标网络输出，方差作为探索奖励。或计数基探索：维护访问计数 n (s)，奖励∝1/√n (s)。工程参数：ε 从 0.1 衰减至 0.01（lr=1e-6）；RND 目标网络更新率 τ=0.01；混合探索奖励 λ=0.01-0.05，根据任务稀疏度调（稀疏 λ↑）；结合 Noisy Nets（网络参数噪声 σ=0.1）增强鲁棒。DeepMind 实验显示，此组合在 VizDoom 中样本效率提升 3 倍。
综合实践清单：
- 初始化：行为策略 μ（off-policy），价值函数 V，模型 M，缓冲 D=∅。
- 交互循环：采样轨迹，存 D；拟合 M；生成 K 步虚拟轨迹扩 D。
- 更新：PER 采样 batch，按 TD-error+DoE（环境差异）优先；梯度更新 μ/V。
- 探索调优：每步加探索 bonus，监控熵 H (π)>0.5。
- 监控 & 回滚：轨迹回报 plateau>5k 步，减 λ 或清 D 30%；模型 MSE > 阈值，回模型无关。
风险：模型复合误差（compounding error）导致偏差，限 rollout 短；off-policy 偏移用 GAE (λ=0.95) 缓解；过探索耗时，设 max episode=1k。
资料来源：Dwarkesh Patel《RL is even more information inefficient than you thought》；Schaul et al. Prioritized Experience Replay (2015)。