TorchTitan
中文 Tutorial 入门书
面向:跟 PyTorch 主分支同步、想看分布式新特性的工程师。
前置:PyTorch 2.x;理解 FSDP / TP 概念。
目录
| 章节 | 标题 | 状态 |
|---|---|---|
| 第 1 章 | 项目背景与定位 | ✅ |
| 第 2 章 | 安装与依赖(nightly PyTorch) | ✅ |
| 第 3 章 | 快速上手 Llama-3 8B | ✅ |
| 第 4 章 | DTensor / DeviceMesh / ParallelStyle | ✅ |
| 第 5 章 | FSDP2 vs FSDP1 | ✅ |
| 第 6 章 | TP/PP 的 PyTorch 原生实现 | ✅ |
| 第 7 章 | 配置:toml + ArgumentParser | ✅ |
| 第 8 章 | train.py 拆解 | ✅ |
| 第 9 章 | 性能优化 | ✅ |
| 第 10 章 | Checkpoint dcp/HF | ✅ |
| 第 11 章 | 调试与常见错误 | ✅ |
| 第 12 章 | 自定义架构 | ✅ |
| 第 13 章 | 源码导读 + 路线图 | ✅ |