算法：PPO / GRPO / DAPO 及变体

9.1 verl 算法谱系

verl 把所有 PPO 家族算法通过 不同的 algorithm.adv_estimator + 不同的 loss 实现。examples/ 下每个 trainer 都对应一种算法：

看着多，本质都是 PPO 的变体，区别在 advantage 估计、KL 项、ratio 计算这三件事上。

9.2 PPO（最经典）

$$ \mathcal{L}_\text{PPO}(\theta) = -\mathbb{E}_t\!\left[\min\!\big(\rho_t \hat A_t,\;\mathrm{clip}(\rho_t,\,1{-}\epsilon,\,1{+}\epsilon)\hat A_t\big)\right] - c_v \mathcal{L}_v + c_e \mathcal{H}[\pi_\theta] $$

• $\rho_t = \pi_\theta(a_t|s_t) / \pi_{\theta_\text{old}}(a_t|s_t)$ —— importance ratio；
• $\hat A_t$ —— 由 critic 给的 GAE advantage；
• $\epsilon$ —— clip 阈值，对应 actor.clip_ratio，默认 0.2。

verl 中 PPO 启动：

algorithm.adv_estimator=gae \
algorithm.gamma=1.0 \
algorithm.lam=0.95 \
critic.optim.lr=1e-5

9.3 GRPO（DeepSeek-R1 同款）

GRPO 的招牌操作：用同一 prompt 采样 $G$ 个 response，组内归一化做 advantage。不再需要 critic。

$$ \hat A_i = \frac{r_i - \mathrm{mean}(\{r_j\}_{j=1}^G)}{\mathrm{std}(\{r_j\}_{j=1}^G)} $$

$$ \mathcal{L}_\text{GRPO}(\theta) = -\mathbb{E}\!\left[\tfrac{1}{G}\sum_{i=1}^G \min\!\big(\rho_i \hat A_i,\;\mathrm{clip}(\rho_i, 1{-}\epsilon, 1{+}\epsilon)\hat A_i\big)\right] - \beta\,\mathrm{KL}(\pi_\theta \| \pi_\text{ref}) $$

关键配置：

algorithm.adv_estimator=grpo
algorithm.norm_adv_by_std_in_grpo=true     # 启用 std 归一
algorithm.use_kl_in_reward=false            # KL 走 loss，不走 reward
actor_rollout_ref.actor.use_kl_loss=true
actor_rollout_ref.actor.kl_loss_coef=0.001
actor_rollout_ref.rollout.n=5               # 每 prompt 采样 5 个

9.4 DAPO（高效 R1 风格）

DAPO 是 ByteDance 提出的 GRPO 升级版，主要改动：

1. 动态采样：动态判断每个 prompt 需要多少 response；
2. clip-higher：clip 上下界非对称，缓解 entropy collapse；
3. token-level loss：对长 sequence 的每 token 单独算 loss，避免长 response 主导梯度。

verl 通过 GRPO + 特殊参数实现 DAPO 风格：

algorithm.adv_estimator=grpo
algorithm.use_dapo_clip_higher=true
algorithm.clip_ratio_low=0.2
algorithm.clip_ratio_high=0.28
algorithm.use_token_level_loss=true

具体 recipe 在子仓 verl-recipe 的 dapo/ 目录。

9.5 REINFORCE++

简化版无 critic 算法：

$$ \hat A_t = r - \tau \cdot \mathrm{normalize}(r) $$

等同于"reward 归一化 + REINFORCE 梯度"。优点：实现极简、显存最省。缺点：方差大，需要更多样本。

algorithm.adv_estimator=reinforce_plus_plus

9.6 RLOO（Leave-One-Out）

RLOO 给同一 prompt 采 $G$ 个 response，每个 response 的 advantage = 自己的 reward 减其他 $G-1$ 个的平均：

$$ \hat A_i = r_i - \frac{1}{G-1}\sum_{j\neq i} r_j $$

$$\Leftrightarrow\; \hat A_i = \frac{G}{G-1}\big(r_i - \bar r\big)$$

与 GRPO 区别：不做 std 归一。更稳定但 sample efficiency 略低。

algorithm.adv_estimator=rloo
actor_rollout_ref.rollout.n=4

9.7 KL 项的三种放法

GRPO / DAPO 默认走第二种（KL 进 loss），更稳。

9.8 KL 估计的几种方式

实际计算 $\mathrm{KL}(\pi_\theta \| \pi_\text{ref})$ 在 token level，verl 提供：

推荐 low_var_kl，这是 John Schulman 博客提出的无偏低方差估计。

9.9 选哪个算法

9.10 多种算法在同一 verl 入口下的切换

四种算法的切换：

# PPO
algorithm.adv_estimator=gae

# GRPO
algorithm.adv_estimator=grpo
actor_rollout_ref.rollout.n=8

# RLOO
algorithm.adv_estimator=rloo
actor_rollout_ref.rollout.n=4

# REINFORCE++
algorithm.adv_estimator=reinforce_plus_plus

verl 在 core_algos.py 里把 advantage 估计抽成一个 dispatch 函数，新增算法只要加一个 case。

9.11 完整的 AdvantageEstimator 枚举

verl/trainer/ppo/core_algos.py 的 AdvantageEstimator（line 88–111）现在已经 13 项。逐个简介，配公式：

注册机制：ADV_ESTIMATOR_REGISTRY（line 113）+ @register_adv_est(name_or_enum) 装饰器（line 116）。新增自定义算法只要写一个函数 + 一行装饰器，不用动主循环。

9.12 完整的 POLICY_LOSS_REGISTRY

同文件的 POLICY_LOSS_REGISTRY（line 50）注册了 11 种 policy loss。这是 ch08.12 那张 YAML 表的算法侧对应：

注册装饰器：@register_policy_loss(name)（line 53）；检索：get_policy_loss_fn(name)（line 70）。ch10 会讲怎么自己写一个。

9.13 KL 函数细节

9.4 列了几种 KL 估计名字，对应函数都在 core_algos.py:2126 的 kl_penalty() 里 dispatch：

9.14 GDPO：多维 reward 的归一

2026-Q1 引入的 GDPO 解决的是多 reward 来源信号互相淹没的问题。比如同时要 reward = 0.5·正确性 + 0.3·简洁性 + 0.2·安全性，三个维度的量纲完全不同。GRPO 直接聚合后归一会让小维度信号被大维度淹掉。

GDPO 的做法（compute_gdpo_outcome_advantage(), line 362）：

1. 对每一维 reward单独做 group 归一化；
2. 按 gdpo_reward_weights 加权聚合归一化后的 advantage；
3. 最后做一次 batch-level whitening 控制整体方差。

YAML 写法：

algorithm:
  adv_estimator: gdpo
  gdpo_reward_keys: [accuracy, brevity, safety]    # 三维 reward 字段名
  gdpo_reward_weights: [0.5, 0.3, 0.2]

对应 reward 函数要返回 non_tensor_batch 里有这三个字段而不是只返回 scalar。

9.15 DAPO 的两个具体改进

9.7 简单提了 DAPO 的两个 idea，这里给真实落地字段：

"Clip-Higher" 在 vanilla policy_loss 里通过 clip_ratio_high / clip_ratio_low 两个字段控制（非对称 PPO clip）。GRPO 的 Dr.GRPO 变体只要把 algorithm.norm_adv_by_std_in_grpo: false 即可。

9.16 rollout correction 的三个预设

训练和 rollout 一旦不在同一 forward pass（off-policy），就要校正。看 verl/trainer/config/algorithm.py 的 RolloutCorrectionConfig：

没开 correction 时（默认）算法本质是 on-policy（同步 rollout-training）；开了 correction 才能放心做 fully_async / one_step_off_policy。

9.17 这章你需要带走什么

• 知道 verl 算法谱系 ≈ "PPO 加上不同的 advantage / KL / clip 变体"；
• GRPO / DAPO 是当前主流，algorithm.adv_estimator=grpo 一键切换；
• KL 项有 reward-side 与 loss-side 两种放法，主流走 loss-side；
• KL 估计推荐 low_var_kl；
• 选算法的核心是"reward 信号怎么来"——可验证 reward 走 GRPO 系，神经 reward 走 PPO 系；
• 13 个 AdvantageEstimator + 11 个 PolicyLoss + 5 个 KL 估计可以排列组合，但 90% 的项目用 grpo + vanilla + low_var_kl。