源码导读：Trainer 继承关系图

TRL 大约 3 万行核心代码，骨架是十几个 Trainer。本章给一份阅读路线。

13.1仓库结构

trl/
├── trl/
│   ├── trainer/
│   │   ├── sft_trainer.py / sft_config.py
│   │   ├── dpo_trainer.py / dpo_config.py
│   │   ├── grpo_trainer.py / grpo_config.py
│   │   ├── ppo_trainer.py / ppo_config.py
│   │   ├── reward_trainer.py / reward_config.py
│   │   ├── kto_trainer.py / kto_config.py
│   │   ├── orpo_trainer.py / orpo_config.py
│   │   ├── cpo_trainer.py / cpo_config.py
│   │   ├── rloo_trainer.py            离线 PPO 变种
│   │   ├── nash_md_trainer.py / xpo_trainer.py / gkd_trainer.py
│   │   ├── online_dpo_trainer.py / online_dpo_config.py
│   │   ├── utils.py                  GAE / log-prob / mask
│   │   └── callbacks.py              wandb / sync_ref_model
│   ├── models/
│   │   ├── modeling_value_head.py    AutoModelForCausalLMWithValueHead
│   │   ├── modeling_base.py
│   │   └── utils.py
│   ├── extras/
│   │   ├── vllm_client.py
│   │   └── profiling.py
│   ├── scripts/
│   │   └── vllm_serve.py             trl vllm-serve 命令
│   ├── data_utils.py
│   └── core.py
├── examples/scripts/                 13 个跑得通的 CLI 脚本
├── tests/
└── docs/source/

13.2建议阅读顺序

13.3Trainer 继承图

transformers.Trainer
    │
    ├── SFTTrainer
    │
    ├── DPOTrainer
    │     ├── compute_loss 覆盖
    │     └── 支持 loss_type=sigmoid/ipo/kto_pair/...
    │
    ├── KTOTrainer / ORPOTrainer / CPOTrainer
    │     └── 各自实现 compute_loss
    │
    ├── RewardTrainer
    │     └── Bradley-Terry compute_loss
    │
    ├── PPOTrainer (v0.10+)
    │     ├── 重写 train()（自带 rollout/update 循环）
    │     └── 用 reward_model + value_model
    │
    └── GRPOTrainer
          ├── 类似 PPO 但去掉 value
          └── 支持 reward_funcs 列表

trl/models/AutoModelForCausalLMWithValueHead
    └── 在 base 上挂 nn.Linear(d, 1) 当 critic / RM

13.4关键 commit 时间线

13.5对照其他对齐框架

13.6社区入口

• GitHub: https://github.com/huggingface/trl（18k+ ⭐）
• 官方文档: https://huggingface.co/docs/trl
• HF Discord / Forum
• 每月 RLHF roundup（HF 博客）

13.727 个 Trainer 全表（v1 实际状态）

13.3 的继承图是简化版。截至本书基线，TRL 实际有 27 个 Trainer 散落在 stable / experimental 两区。下面这张表是实战选型时的查表：

符号约定：⚡ = 支持 vLLM；🧪 = experimental（patch 版本可能动 API）。共 6 stable + 21 experimental = 27 个。

13.8_BaseTrainer 与"自包含"设计哲学

13.3 那张继承图缺一层：_BaseTrainer（trl/trainer/base_trainer.py:30）。所有主 trainer 都先继承它再才到 transformers.Trainer：

transformers.Trainer
    │
    └── trl._BaseTrainer          # 只放 model card / telemetry 等共享逻辑
            │
            ├── SFTTrainer
            ├── DPOTrainer
            ├── GRPOTrainer
            ├── RLOOTrainer
            ├── RewardTrainer
            └── OnlineDPOTrainer
                    │
                    ├── NashMDTrainer
                    └── XPOTrainer

设计要点（仓库 CLAUDE.md 明确写的）：

• 故意代码重复：每个 trainer 文件几乎自包含，dpo_trainer.py 不靠 grpo_trainer.py 的任何工具；
• _BaseTrainer 极薄：只放真正所有 trainer 都用的（model card 生成、telemetry，等），不做"算法基类"；
• 很多子类重写 train()：PPO / GRPO / Online DPO 都不复用 HF Trainer 的 step 循环，因为它们要 rollout；
• online preference 单独成系：OnlineDPO / NashMD / XPO 才是真正的"继承链"。

这个哲学的好处：读 dpo_trainer.py 不用跳来跳去；改 grpo_trainer.py 不会破坏 DPO。代价：grep "_compute_loss" 会出现 5 处近似实现。

13.9跟着测试读 API

每个 trainer 的最小可跑示例都在 tests/。下表是 5 份高密度入口：

"想用 X trainer 但官方文档没写细" → 直接 grep tests/test_X_trainer.py，比文档准。

13.104 个 reward function 锚点

ch07.8 已经讲过 4 个内置 reward。这里给行号速查：

"我要自己写一个 reward" → 复制 accuracy_reward 的签名改 body。函数签名是 fn(completions, **kw) → list[float | None] 这一种就够用。

13.11这章你需要带走的

• TRL 实际有 27 个 Trainer：6 stable + 21 experimental；
• 所有 trainer 走 _BaseTrainer，但故意"自包含 + 代码重复"；
• online preference 系是个独立小继承链（OnlineDPO → Nash-MD / XPO）；
• 选 trainer 时优先 stable 6 个，experimental 用前看自己接受 API 变化；
• 不知道怎么用某 trainer 时 grep tests/test_*_trainer.py 比 doc 准。