经典 RL 范式汇总

花了一些时间阅读经典的 RL 玩法和范式，不同的 RL 也一定程度上改变了数据采集的方式，尤其是当前 RSI 和长程场景的 RL 范式里，对于合成数据、Environment、探索效率等方面的要求越来越高。

经典 RL 范式

DQN: Playing Atari with Deep Reinforcement Learning，Mnih 等，2013-12-19。

• 背景与痛点：从像素学习动作价值需要大量交互；连续采集的样本强相关，直接训练容易不稳定。如何组织经验，是深度 RL 能否工作的基础。
• 解决方案：CNN 近似动作价值，结合 Q-learning 与经验回放。
• 效果：原始七个 Atari 游戏中，六个超过此前方法，三个超过人类专家；这里引用的是 2013 论文。
• Data 特性：像素、动作、奖励、下一状态组成 transition；随机回放降低采样相关性。
• Pipeline：游戏交互 → transition 入库 → 随机 minibatch → TD 更新 → 新交互。

PPO Policy Optimization Algorithms Schulman 等，2017-07-20。

• 背景与痛点：普通 policy gradient 数据利用率低；较大的策略更新会让刚采集的数据与新策略迅速失配。TRPO 的稳定更新实现较复杂。
• 解决方案：用 clipped surrogate objective 限制更新，同一采集批次做多轮 minibatch 优化。
• 效果：机器人仿真和 Atari 中取得较好的样本复杂度、实现复杂度与运行时间平衡。
• Data 特性：完整或截断轨迹、行为策略 log-prob、奖励、value 和优势；复用范围受策略变化限制。
• Pipeline：当前策略 rollout → return / advantage → 多轮受限更新 → 重新 rollout。

SAC: Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor，Haarnoja 等，2018-01-04。

• 背景与痛点：真实控制的数据昂贵，on-policy 方法消耗大量交互；确定性或低探索策略也容易产生脆弱的收敛结果。
• 解决方案：off-policy actor-critic 与最大熵目标结合，复用历史经验并保留探索。
• 效果：连续控制基准超过当时多种 on-policy 和 off-policy 方法，随机种子间表现较稳定。
• Data 特性：不同历史策略产生的 transition 共同进入 replay buffer；旧经验可反复训练。
• Pipeline：策略执行 → replay buffer → 更新 Q 和 actor → 新经验回流。

Conservative Q-Learning for Offline Reinforcement Learning，Kumar 等，2020-06-08。

• 背景与痛点：只有固定数据时，策略可能选择数据中很少出现的动作；价值网络对这些动作过度乐观，且不能靠新增交互纠错。普通 off-policy 方法因此不一定能直接用于 offline RL。
• 解决方案：在 Bellman 误差上增加保守 Q 正则，压低缺少数据支持的价值估计。
• 效果：原论文多种离线控制任务中优于既有方法，部分复杂数据分布下最终 return 达到基线的 2–5 倍。
• Data 特性：固定、多策略、多模态经验；覆盖范围比单纯数据量更关键。
• Pipeline：离线 transition → Bellman 拟合与保守正则 → 改进策略 → 独立评估。

Hindsight Experience Replay，Andrychowicz 等，2017-07-05。

• 背景与痛点：稀疏目标奖励下，大量尝试未完成指定目标，看上去没有正信号。但轨迹可能确实到达了另一个有意义的目标。
• 解决方案：把真实达到的状态当作替代目标，重新计算奖励并回放。
• 效果：仅用二元奖励学习推、滑动、抓取放置等任务，部分仿真策略可部署到真机。
• Data 特性：保留 desired goal 和 achieved goal；改变目标标签，不伪造发生过的状态转移。
• Pipeline：采集轨迹 → 挑选已实现目标 → 重算奖励 → 原始与重标注 transition → off-policy 更新。

RL reward 和更新方式

RLHF: Training language models to follow instructions with human feedback，Ouyang 等，2022-03-04。

• 背景与痛点：预训练语言建模目标不等于用户偏好。人工示范能展示期望行为，但模型自己生成的候选仍需要比较和评价。
• 解决方案：人工示范做 SFT，候选排序训练 reward model，再以 PPO 优化策略。
• 效果：在论文的人类评价与 prompt 分布上，1.3B InstructGPT 的输出比 175B GPT-3 更受偏好。
• Data 特性：SFT demonstration、preference ranking、RL prompt 和策略 rollout 是不同数据层。
• Pipeline：prompt → 人类示范 → SFT → 候选排序 → RM → rollout 打分 → PPO。

GRPO: DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models，Shao 等，2024-02-05。

• 背景与痛点：LLM 的 PPO 训练通常需要额外的 value model，增加显存和计算开销；只有整条回答的结果奖励时，逐 token 的价值估计也较困难。同一道题的多个回答可以提供更直接的相对比较。
• 解决方案：同题采样多条回答，用组内奖励均值与标准差估计相对优势，省去独立 value model，保留 clipped policy update 与 KL 约束。
• 效果：7B Instruct 经原文 RL 配方后，GSM8K 从 82.9% 升至 88.2%，MATH 从 46.8% 升至 51.7%（CoT、无工具）；这是完整 RL 配方的前后对比。
• Data 特性：约 144K 道题，原实验每题采样 64 个输出；同题 group、奖励及行为策略概率共同参与更新。
• Pipeline：题目 → 同题分组 rollout → reward model 打分 → 组内相对优势 → 策略更新 → 重新采样。Sections 4.1–4.2、Table 5

GSPO: Group Sequence Policy Optimization，Zheng 等，2025-07-24。

• 背景与痛点：长序列、多轮 minibatch 更新和 MoE 路由变化会放大旧 rollout 与当前策略之间的差异。论文观察到 token 重要性比率波动引起训练不稳定，而奖励通常给整条回答。
• 解决方案：以长度归一化的序列似然比构造权重，在整条回答层面裁剪，并使用组内相对优势。
• 效果：Qwen3-30B-A3B 冷启动模型在相同训练计算与题目消耗下，数学和代码评测优于论文的 GRPO 基线；其 MoE 实验无需 Routing Replay。
• Data 特性：仍是同题 response group；保留新旧策略的 token log-prob，聚合成每条回答的序列权重。
• Pipeline：分组 rollout → verifier 打分 → 组内优势 → 长度归一化序列比率 → 序列裁剪与更新。Sections 4–5、Figure 1

RL 数据构建

DAPO: An Open-Source LLM Reinforcement Learning System at Scale，Yu 等，2025-03-18。

• 背景与痛点：同题回答全对或全错时，组内优势为零；训练推进后，有效 prompt 数量下降。长回答的损失聚合和截断惩罚还可能放大奖励噪声，仅增加 rollout 数量不能保证有效学习。
• 解决方案：动态过滤零优势组并补采样，结合 Clip-Higher、token 级损失聚合与超长奖励整形。
• 效果：Qwen2.5-32B 的 AIME 2024 avg@32 从朴素 GRPO 的 30% 提升至完整配方的 50%；不是单项技巧的独立增益。
• Data 特性：DAPO-Math-17K 将答案整理为整数以便判分；每题 16 条输出，保留对错混合的 group，并记录长度与截断状态。
• Pipeline：题目与整数答案 → 分组 rollout → 规则判分 → 过滤全对 / 全错组并补采样 → 长度处理 → token 聚合更新。Sections 3–4、Table 1

DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning，DeepSeek-AI，2025-01-22。

• 背景与痛点：高质量推理示范难收集；R1-Zero 直接对 base model 做 RL，但输出存在可读性差、语言混杂等问题。R1 需要兼顾推理能力与通用回答质量。
• 解决方案：加入冷启动 SFT，并将推理 RL 产生的回答经正确性与可读性筛选，组成后续 SFT 数据，再做最终 RL。
• 效果：R1 的 AIME 2024 pass@1 为 79.8%；属于完整训练流程的结果。
• Data 特性：数千条冷启动 CoT，约 600K 筛选后推理样本与 200K 通用样本；按阶段使用规则或学习得到的奖励。
• Pipeline：冷启动 SFT → 推理 RL → 生成与拒绝采样 → 混合数据 SFT → 最终 RL。Sections 2.3–3

DreamerV3: Mastering Diverse Domains through World Models，Hafner 等，首次公开 2023-01-10。

• 背景与痛点：真实交互昂贵，不同任务的观测、奖励尺度和动态又差异很大。需要一种既能复用经验、又能减少逐任务调参的训练方式。
• 解决方案：学习 latent world model，在想象轨迹中训练 actor 和 value，并统一稳定化设计。
• 效果：单一配置覆盖超过 150 个任务；在 Minecraft 从零收集钻石，无人类数据或课程。
• Data 特性：真实时序数据训练动态模型；想象数据训练行为，两者用途不同。
• Pipeline：环境序列 → replay → world model → latent rollout → actor / value → 真实交互。

π*0.6: a VLA That Learns From Experience，Amin 等，2025-11-18。

• 背景与痛点：示范学习难以覆盖部署时实际犯的错，也难以优化速度。真实 rollout 同时包含成功、失败和人工接管，直接把它们当作同等质量示范会混淆学习目标。
• 解决方案：用价值函数估计优势，以 advantage conditioning 训练 VLA，迭代吸收自主经验与纠正。
• 效果：部分高难任务的 throughput 超过两倍，失败率约减半；提升范围以论文任务为限。
• Data 特性：示范、多个版本自主轨迹、专家干预共存；次优动作通过优势标记保留。
• Pipeline：离线 VLA / value 预训练 → 真机 rollout 与接管 → outcome 标注 → value 更新 → 优势条件策略训练 → 再部署。Sections IV–VI