OpenRLHF

OpenRLHF 是开源社区维护的、主打"千亿模型 PPO/GRPO 工业级 RLHF"的高性能分布式框架。 把 Ray + DeepSpeed + vLLM 三件套拼成统一架构，让 RLHF 中最慢的 rollout 阶段跑在 vLLM 上，吞吐 2-10× 提升。

面向：想做"千亿模型 PPO/GRPO 工业级 RLHF"的工程师；对 Ray + vLLM 异构架构感兴趣的研究者。

前置：理解 RLHF 基本三阶段（SFT/RM/PPO）；用过 Ray 或愿意学。

·完整目录

·怎么读这本书

• 顺序读：第 1-4 章建立概念框架，5-8 章拆解技术栈，9 章选算法，10-12 章实战。
• 实战派：直接看第 2-3 章把环境搭起来，遇到不理解的概念再回查第 4 章；第 12 章给出完整 70B PPO 案例。
• 研究者：从第 4-5 章理解四角色 + Ray 编排，然后第 9 章看算法谱系，第 10 章看自定义 reward 怎么写。