ColossalAI
中文 Tutorial 入门书
面向：希望用国产框架完成大模型训练、对"低成本大模型"路线感兴趣的工程师。
前置：会写 PyTorch；理解 ZeRO / TP / PP 的基本概念。
本书的目标
- 自己写一份
colossalai.launch+Booster的训练脚本； - 在不同硬件预算下选择合适的
Plugin（Torch DDP / GeminiPlugin / HybridParallelPlugin）； - 看懂 ColossalChat、Open-Sora、Colossal-LLaMA 这些"上层产品"是怎么搭出来的。
目录
| 章节 | 标题 | 状态 |
|---|---|---|
| 第 1 章 | 项目背景与定位 | ✅ |
| 第 2 章 | 安装与依赖（含 CUDA extension 编译） | ✅ |
| 第 3 章 | 快速上手：从单卡到 8 卡的最小例子 | ✅ |
| 第 4 章 | 核心概念：Booster、Plugin、ShardFormer | ✅ |
| 第 5 章 | Gemini：异构显存 + CPU 卸载 | ✅ |
| 第 6 章 | HybridParallelPlugin：一份配置开多种并行 | ✅ |
| 第 7 章 | ShardFormer：自动按 layer 切模型 | ✅ |
| 第 8 章 | 实战：用 Colossal-LLaMA 训中文增强模型 | ✅ |
| 第 9 章 | 实战：ColossalChat 的 SFT → RM → PPO 流水线 | ✅ |
| 第 10 章 | 性能优化：fused kernel / chunked communication | ✅ |
| 第 11 章 | 调试与常见错误 | ✅ |
| 第 12 章 | Checkpoint 与 HF 互转 | ✅ |
| 第 13 章 | 源码导读与社区生态 | ✅ |