TorchTitan

中文 Tutorial 入门书

📌 版本基线: pytorch/torchtitan · main · commit af33f76 · 详见 版本基线表

面向:跟 PyTorch 主分支同步、想看分布式新特性的工程师。

前置:PyTorch 2.x;理解 FSDP / TP 概念。

目录

章节标题状态
第 1 章 项目背景与定位
第 2 章 安装与依赖(nightly PyTorch)
第 3 章 快速上手 Llama-3 8B
第 4 章 DTensor / DeviceMesh / ParallelStyle
第 5 章 FSDP2 vs FSDP1
第 6 章 TP/PP 的 PyTorch 原生实现
第 7 章 配置:toml + ArgumentParser
第 8 章 train.py 拆解
第 9 章 性能优化
第 10 章Checkpoint dcp/HF
第 11 章调试与常见错误
第 12 章自定义架构
第 13 章源码导读 + 路线图
📁 配套源码:../../repos/torchtitan/  ·  🔗 上一级:总目录