nanotron
中文 Tutorial 入门书
面向：想真正读完一个完整预训练框架的工程师 / 学生。
前置：PyTorch DDP；了解 Megatron 风格 TP/PP 概念。
本书的目标
- 用三天通读 nanotron 全部 ~5000 行核心源码；
- 理解 3D 并行 + ZeRO-1 + checkpoint 的工业实现；
- 读完后能自信地读 Megatron / TorchTitan / ColossalAI。
目录
| 章节 | 标题 | 状态 |
|---|---|---|
| 第 1 章 | 项目背景与定位 | ✅ |
| 第 2 章 | 安装与最小依赖 | ✅ |
| 第 3 章 | 快速上手 tiny GPT | ✅ |
| 第 4 章 | ParallelContext | ✅ |
| 第 5 章 | TP/PP/DP 实现 | ✅ |
| 第 6 章 | Distributed Optimizer (ZeRO-1) | ✅ |
| 第 7 章 | 配置：dataclass + YAML | ✅ |
| 第 8 章 | Nanoset 数据流水线 | ✅ |
| 第 9 章 | 模型层实现 | ✅ |
| 第 10 章 | 训练循环与 checkpoint | ✅ |
| 第 11 章 | 调试与常见错误 | ✅ |
| 第 12 章 | nanotron checkpoint → HF | ✅ |
| 第 13 章 | 5000 行通读路线 | ✅ |