DeepSpeed

面向：用 HuggingFace Trainer 时见过 --deepspeed ds_config.json 不知道这文件里到底在写什么的开发者。

前置：PyTorch DDP 用过，知道"梯度同步"是怎么回事；理解 fp16/bf16 混合精度。

本书的目标

• 看到一份 ds_config.json，能立即说出每一项在控制什么硬件资源；
• 在 ZeRO-1 / 2 / 3 / Offload 之间根据 GPU 数量和模型大小做出合理选择；
• 用 HF Trainer + DeepSpeed 跑通从 SFT 到全量预训练的常见场景。

目录