在大型语言模型（LLM）的持续优化中，传统离线强化学习（RL）方法如 PPO 或 GRPO 虽已广泛应用于偏好对齐，但无法应对动态实时场景下的用户交互和反馈。观点上，在线 RL 循环通过 bandit 反馈机制，能实现 LLM 的实时适应，提升模型对动态偏好的响应能力，同时避免全量重训练的资源消耗。这种方法的核心在于将多臂老虎机（Multi-Armed Bandit, MAB）算法融入 RL 框架中，用于动态选择动作或奖励模型，从而平衡探索与利用，确保低延迟更新。
证据支持这一观点的首要来源是 Verl 库的设计灵活性。Verl 作为 Volcano Engine 的开源 RL 库，支持 PPO、GRPO 等算法的混合控制器编程模型，便于扩展异步和离策略架构（off-policy），这为在线 RL 提供了基础。尽管 Verl 当前主要聚焦离线 RLHF，但其即将推出的异步架构（如 GitHub issue #2231）允许将 rollout 和训练分离，支持实时反馈注入。结合 bandit 方法，例如 LASeR 论文中提出的自适应奖励模型选择，通过 MAB 动态挑选最适合当前实例的奖励模型，能减少噪声干扰，提高在线适应的准确性。在实验中，使用 Llama-3-8B 模型的在线循环训练，在常识和数学推理任务上，平均准确率提升 2.67%，远超单一奖励模型的集成 baseline。
进一步证据来自低延迟奖励模型的集成。传统奖励模型往往计算密集，而在线场景需毫秒级响应。Verl 可集成轻量级奖励函数，如基于规则的 verifiable reward（数学或代码验证），或小型蒸馏 RM（从 Qwen-2.5 等蒸馏），确保延迟 < 100ms。安全探索是另一关键，防止在线更新导致模型退化。采用保守 KL 散度约束（clip ratio 0.1-0.2），或 epsilon-greedy bandit 策略（epsilon=0.1），限制探索范围，避免灾难性遗忘。
可落地参数与清单如下，实现在线 RL 循环：
-
环境设置：
- 安装 Verl：
pip install verl（需 PyTorch FSDP 或 Megatron 后端）。
- 模型：Llama-3-8B 或 Qwen-2.5-7B，作为 actor。
- 硬件：至少 4x A100 GPU，支持分布式 rollout。
-
Bandit 反馈集成：
- 使用 Thompson Sampling 或 UCB1 作为 MAB 算法，选择 arms（奖励模型或动作）。
- 参数：arms=3（e.g., 规则 RM、蒸馏 RM、人类反馈代理）；regret bound < 0.05。
- 反馈循环：每 10 步 rollout 后，bandit 更新 arm 概率。
-
在线 RL 循环实现：
- Rollout：使用 vLLM 或 SGLang 生成响应，批次大小 32，max tokens 512。
- 奖励计算：低延迟 RM，阈值 >0.5 为正反馈；超时 50ms 回退默认奖励。
- 更新：off-policy GRPO，学习率 1e-6，KL 系数 0.01；每轮 1000 样本。
- 安全探索：epsilon-greedy，初始 epsilon=0.2，衰减率 0.99；监控 perplexity，若 > baseline 1.5x 则回滚。
-
监控与回滚：
- 指标：Win rate (AlpacaEval >70%)、reward mean (>0.8)、latency (<200ms)。
- 回滚策略：若连续 5 轮准确率下降 >5%，恢复 checkpoint。
- 扩展：多轮工具调用，支持 agentic 交互。
通过这些参数，在 WildChat 等开放任务上，win rate 达 72.69%，证明了实时适应的有效性。相比离线方法，在线 RL 减少 50% 训练时间，同时保持偏好一致性。
资料来源：