项目背景与定位

1.1 一句话定位

NeMo 是 NVIDIA 出品的、端到端的多模态生成式 AI 工具箱。它涵盖大语言模型、自动语音识别（ASR）、文本转语音（TTS）、计算机视觉等多种模态，把训练、对齐、量化、部署这一整条工业流水线全装在一个仓库里。在 LLM 这条线上，它的底座是 NVIDIA 自家的 Megatron-Core，做的是"把 Megatron 的并行能力包成 Hydra / PyTorch Lightning 风格的开箱产品"。

如果说 Megatron-LM 像 NVIDIA 的"原料车间"，NeMo 就是用这些原料做出的"工业整机"——客户拿到能直接生产。

1.2 为什么会有 NeMo

NVIDIA 的 ASR / TTS 团队（OpenSeq2Seq → NeMo 1.0）和 LLM 团队（Megatron）原本是两条线。2022 年之后，企业客户出现强烈需求："我希望一个框架就能把语音、视觉、语言全训了，最好结尾还能直接吐 TensorRT 引擎给我部署。" 这正是 NeMo 2.x 之后逐渐成为的样子。

它的核心驱动力是商业化：

• NVIDIA 卖 H100 / DGX，需要一份"买我们的卡，配套这份框架就能直接出产品"的样板；
• 客户对训练框架的诉求不只是"快"，还包括和后续推理生态打通（TensorRT-LLM、Triton Inference Server）；
• 客户也希望"PEFT、对齐、量化"这些步骤都不用换工具。

1.3 它在 NVIDIA 训练栈里的位置

经验法则：如果你只想"训 GPT，用最少抽象"，用 Megatron-LM；如果你想"配置一次跑完 SFT → LoRA → DPO → TRT 部署"，用 NeMo。

1.4 设计哲学：配置驱动 + 与 NV 生态共生

1. Hydra 配置 + PyTorch Lightning 训练循环。基本上你不用写训练 Python 代码，只需要：

   python megatron_gpt_pretraining.py \
     --config-path=conf --config-name=megatron_gpt_config \
     model.num_layers=32 model.hidden_size=4096

   YAML + 命令行 override 的组合，把"调参体验"做到了极致。
2. 深度绑定 NVIDIA 生态。FP8 默认走 TransformerEngine，量化默认走 ModelOpt，推理默认导出到 TensorRT-LLM。

代价是：对非 NVIDIA 硬件几乎没考虑；仓库巨大（~50 万行），跨语言、跨模态；版本迭代快，旧文档容易过期。

1.5 它适合用来做什么、不适合做什么

1.6 本书将怎么带你走完这趟旅程

NeMo 体量大，本书会只取 LLM 主线：

• 第 2 章强烈推荐 Docker 安装，并给出版本矩阵；
• 第 3 章跑通一个最小的 NeMo Megatron 预训练；
• 第 4 章讲清楚 NeMo Megatron 和底层 Megatron-Core 的关系；
• 第 5-6 章Hydra 配置 + 数据准备；
• 第 7-8 章PEFT 与 NeMo Aligner（SFT/DPO/SteerLM）；
• 第 9 章蜻蜓点水带一下多模态分支；
• 第 10 章把 NeMo 训出的模型 export 给 TensorRT-LLM；
• 第 11-13 章调试、checkpoint 互转、源码地图。

1.7 NeMo 2.x：仓库已分家（重要）

2024 年下半年起，NVIDIA/NeMo 仓库做了一次战略性重组。如今你看到的本仓库（v2.8+）：

本书定位：第 1–5、12、13 章覆盖历史上一直延续的 NeMo + Hydra + Megatron 集成模式（NeMo 1.x），同时也是 NeMo-Framework v2 的底座；第 6–8、10、11 章里 LLM 训练 / DPO / TRT-LLM 那部分，真实代码现已迁到 NeMo-Framework 与 NeMo-RL 仓库，本书在内容上保留是因为整体架构思路依旧适用，但 import path 和文件位置在新仓库里会变。

第 9 章和本书附录会基于当前 nemo/ 仓库（语音版）给真实文件路径——即 collections/speechlm2/、collections/asr/、collections/tts/ 那条线。

1.8 2024–2026 大事件时间线