TorchTitan

中文 Tutorial 入门书

📌 版本基线: pytorch/torchtitan · main · commit af33f76 · 详见 版本基线表。

面向:跟 PyTorch 主分支同步、想看分布式新特性的工程师。

前置:PyTorch 2.x;理解 FSDP / TP 概念。

目录

章节标题状态
第 1 章 项目背景与定位✅
第 2 章 安装与依赖(nightly PyTorch)✅
第 3 章 快速上手 Llama-3 8B✅
第 4 章 DTensor / DeviceMesh / ParallelStyle✅
第 5 章 FSDP2 vs FSDP1✅
第 6 章 TP/PP 的 PyTorch 原生实现✅
第 7 章 配置:toml + ArgumentParser✅
第 8 章 train.py 拆解✅
第 9 章 性能优化✅
第 10 章Checkpoint dcp/HF✅
第 11 章调试与常见错误✅
第 12 章自定义架构✅
第 13 章源码导读 + 路线图✅
📁 配套源码:../../repos/torchtitan/  ·  🔗 上一级:总目录