verl
中文 Tutorial 入门书
面向：想用国产框架做"千亿模型 RLHF"的工程师；研究混合 actor-learner 架构（HybridFlow 论文）的同学。
前置：理解 PPO/GRPO；用过 Ray；最好读过 verl 的 HybridFlow 论文。
本书的目标
- 看懂 HybridFlow 论文里"controller + worker"的实现到底是怎么落到代码里的；
- 在多机多卡上训 Qwen / Llama 大模型的 GRPO / PPO；
- 自定义新的训练算法 / reward / 采样后端。
目录
| 章节 | 标题 | 状态 |
|---|---|---|
| 序 | HybridFlow 究竟解决了什么 | ✅ |
| 第 1 章 | 项目背景与定位 | ✅ |
| 第 2 章 | 安装与依赖 | ✅ |
| 第 3 章 | 快速上手：单机 GRPO 例子 | ✅ |
| 第 4 章 | 核心概念：Controller / WorkerGroup / ResourcePool | ✅ |
| 第 5 章 | HybridFlow 架构详解 | ✅ |
| 第 6 章 | 训练后端：FSDP / Megatron 两条路 | ✅ |
| 第 7 章 | 采样后端：vLLM / SGLang / TensorRT-LLM | ✅ |
| 第 8 章 | 配置系统：Hydra YAML | ✅ |
| 第 9 章 | 算法：PPO / GRPO / DAPO 及变体 | ✅ |
| 第 10 章 | 自定义算法与 reward | ✅ |
| 第 11 章 | 常见错误与性能调优 | ✅ |
| 第 12 章 | 案例：长思考链 GRPO（R1 风格） | ✅ |
| 第 13 章 | 源码导读：调用栈与文件地图 | ✅ |