训练后端：FSDP / Megatron 两条路

6.1 verl 给你两条训练后端

verl 通过 actor_rollout_ref.actor.strategy（或顶层 model_engine）选择训练后端：

在启动脚本里通过 model_engine 一次切换：

python -m verl.trainer.main_ppo \
  model_engine=fsdp \
  ... 其他 override

等价于 actor / critic / ref 全部用 FSDP。

6.2 FSDP 路径

什么时候用

• 模型 ≤ 70B；
• 不熟 Megatron，希望"装好 PyTorch 就能跑"；
• 常规科研 / 业务训练；
• 多模态、新模型架构（FSDP 不需要为模型重写代码）。

关键配置（fsdp_actor.yaml）

FSDP vs FSDP2

6.3 Megatron 路径

什么时候用

• 模型 ≥ 30B（特别 MoE）；
• 需要 TP × PP × DP × EP × CP 多维并行；
• 已经有 Megatron 经验，能容忍 NVIDIA-only 的约束；
• 训 DeepSeek-V3 / Qwen3-235B-A22B / 千亿 MoE 这种"非 Megatron 训不动"的模型。

关键配置（megatron_actor.yaml）

Megatron-Bridge：HF 模型 ↔ Megatron 互转

Megatron 路径有个挑战：HF 模型权重不能直接 load 进 Megatron，要转格式。verl 推荐用 NVIDIA 出的 Megatron-Bridge：

# 训练前一次性把 HF checkpoint 转 Megatron 格式
python -m megatron_bridge.tools.convert_hf_to_megatron \
  --hf_model Qwen/Qwen3-30B-A3B \
  --output ckpt/qwen3_30b_a3b_mcore \
  --tp 4 --pp 2 --ep 8

# 训完用反向工具转回 HF
python -m megatron_bridge.tools.convert_megatron_to_hf \
  ...

6.4 怎么选：FSDP 还是 Megatron

经验法则：

• 4B / 7B / 14B / 32B GRPO：FSDP 一定够；
• 70B 稠密 GRPO：FSDP 也能跑，但 ZeRO-3 风格通信开销大，可考虑 Megatron + TP=2/4；
• MoE（Mixtral 8x22B / Qwen3-235B / DeepSeek-V3）：必须 Megatron + EP。

6.5 hybrid: FSDP actor + Megatron critic？

verl 允许 actor / critic / ref 走不同后端。但常见做法是统一——除非有强需求，不建议 mix。配置举例：

actor_rollout_ref.actor.strategy=fsdp2
critic.strategy=megatron       # 不推荐这样混，除非你知道在干什么

6.6 模型并行尺寸推荐表（Megatron 路径）

关系仍然是：

$$W = \mathrm{TP} \times \mathrm{PP} \times \mathrm{DP} \times (\mathrm{EP}/\mathrm{TP\text{ for MoE}})$$

6.7 训练后端调优清单

6.8 EngineRegistry：两级 dispatch

讲了这么多后端，verl 怎么从一个 strategy: fsdp 字段最终拿到正确的实现类？看 verl/workers/engine/base.py:267 的 EngineRegistry：

class EngineRegistry:
    _registry: Dict[str, Dict[str, Dict[str, Type[BaseEngine]]]] = {}
    #              model_type    backend     device → class

    @classmethod
    def register(cls, model_type, backend, device):
        def decorator(engine_cls):
            cls._registry[model_type][backend][device] = engine_cls
            return engine_cls
        return decorator

    @classmethod
    def new(cls, model_type, backend, ...):
        return cls._registry[model_type][backend][device](...)

三个维度：

真实注册表（来自 workers/engine/__init__.py:14–65）：

6.9 EngineConfig 字段全景

每种 backend 的 YAML 都继承自共通的 EngineConfig（workers/config/engine.py:77）。下面这些字段不分后端都有，是调试时第一档要查的：

6.10 MoE 的 Router Replay：R2 / R3

MoE 模型的训练和 rollout 之间有一个特别讨厌的不一致来源——router 输出。同一个 token 在训练侧路由到 expert A、rollout 侧路由到 expert B，importance ratio 就完全失真。verl 在 workers/config/engine.py 提供了 EngineRouterReplayConfig 字段管这个：

实战经验：

• 纯 PPO 训练：R2 足够，吞吐损失小；
• 训练 / rollout 频繁切的 long CoT：R3 更稳；
• DeepSeek-V3 671B / Qwen3-235B 这类 MoE，README 推荐默认 R2。

6.11 训练 → rollout 之间的 weight extraction

这是连接本章和 ch07 的核心点。每个 engine 必须实现 get_per_tensor_param()（engine/base.py:150）：

对 LoRA 情形，peft_merge=True 时会先 merge adapter 到 base 再 yield；peft_merge=False 时分两条路 yield，base 一次性同步后只增量推 adapter（base_sync_done flag 控制）。这就是 LoRA RL 训练能比 full-finetune 快得多的关键——base 权重只需要在 step 0 同步一次。

6.12 切换后端的 YAML 长什么样

换 backend 不需要改算法代码，YAML 一行字段就够。这是 verl 把 engine 抽象做对的回报。

6.13 这章你需要带走什么

• 知道 verl 训练后端有 FSDP / FSDP2 / Megatron / TorchTitan / VeOmni 五条；
• 清楚 FSDP 和 Megatron 的适用边界；
• MoE 几乎必须走 Megatron；
• 知道 actor.fsdp_config.* 和 actor.megatron.* 两套字段在哪里查；
• 切换后端只是一个 model_engine=...。