TRL

面向：从 SFT 入门到 PPO / DPO / GRPO 对齐训练的工程师。

前置：transformers 用过 SFT；理解 RLHF 三阶段概念。

本书的目标

• 用 SFTTrainer / DPOTrainer / GRPOTrainer 跑通完整对齐 pipeline；
• 看懂 13 个 Trainer 之间的继承关系；
• 掌握 vLLM 集成、reward function 设计、RLHF 调试。

目录