SFTTrainer 全字段拆解

SFTConfig 继承自 TrainingArguments，又加了 ~20 个自家字段。本章按"数据相关 / 训练相关 / PEFT 相关 / 性能相关"分组，告诉你哪些是必调、哪些可忽略。

5.1数据字段

5.2训练字段（来自 TrainingArguments）

5.3性能字段

5.4评估和保存

5.5logging

5.6三套典型配置

① 单卡跑通 7B LoRA

SFTConfig(
    output_dir="./out",
    per_device_train_batch_size=2, gradient_accumulation_steps=8,
    num_train_epochs=2, learning_rate=2e-4,
    max_length=2048, packing=True, assistant_only_loss=True,
    bf16=True, attn_implementation="flash_attention_2",
    gradient_checkpointing=True,
    logging_steps=10, save_strategy="epoch",
)

② 多卡 70B QLoRA

SFTConfig(
    output_dir="./out",
    per_device_train_batch_size=1, gradient_accumulation_steps=16,
    num_train_epochs=1, learning_rate=1e-4,
    max_length=4096, packing=True, assistant_only_loss=True,
    bf16=True, attn_implementation="flash_attention_2",
    gradient_checkpointing=True,
    optim="paged_adamw_8bit",
    save_steps=500, save_total_limit=2,
    report_to="wandb", run_name="qwen-70b-qlora",
)

③ 全参 7B（多卡 DeepSpeed）

SFTConfig(
    output_dir="./out",
    per_device_train_batch_size=4, gradient_accumulation_steps=4,
    num_train_epochs=3, learning_rate=2e-5,
    max_length=4096, packing=True, assistant_only_loss=True,
    bf16=True, attn_implementation="flash_attention_2",
    gradient_checkpointing=True,
    deepspeed="ds_z3_config.json",
    save_steps=500,
)

5.7SFTConfig 的 3 种 loss_type

SFT 不只是 "next token prediction"。SFTConfig（trl/trainer/sft_config.py:264–274）的 loss_type 字段提供三种选项：

chunked_nll 关键实现在 _chunked_cross_entropy_loss()（sft_trainer.py:104–212）：

• 原版 NLL 一次性算 batch × seq × vocab 的 logits 张量，70B 模型 + 16K 序列 + 200K 词表能瞬间吃几十 GB；
• chunked_nll 把 hidden states 按 chunk 切，每个 chunk 单独跑 lm_head + cross entropy，逐块累加梯度；
• 峰值显存降到 chunk_size × vocab，约原版 1/8 - 1/32。

5.8packing 两种实现 + v0→v1 重命名

v1 把 packing 的字符串值统一了：

BFD 比 wrapped 节省 padding 更多（实测 20-40% 训练时间），但要求所有样本 token 后再排序+装箱，启动期多花几秒。v0 旧名 "bfd-requeue" 在 v1 还能识别（向后兼容），但日志会有 deprecation warning。

5.9开箱 accelerate 配置（7 份 yaml）

仓库自带 trl/accelerate_configs/ 已经写好 7 份 yaml，accelerate launch --config_file ... 直接用：

不需要自己跑 accelerate config 交互式问答。trl sft --config sft.yaml --config_file zero3.yaml 直接跑通 ZeRO-3 SFT。

5.10chat template 38 个内置模板

trl/chat_templates/ 内置 38 个 jinja 模板，覆盖主流模型族：

每个模板都有 _training.jinja 双胞胎（如 llama3_training.jinja）。差异：

• 训练版加 {% generation %} ... {% endgeneration %} 标签 → 让 assistant_only_loss 能精确定位 assistant 起止；
• 训练版保证 prefix-preserving：append 新消息不改变此前消息的 tokenization（GRPO 多轮 rollout 必备）。

5.11这章你需要带走的

• 4 个必调字段：max_length / packing / assistant_only_loss / learning_rate；
• LoRA lr 比全参高 10×（2e-4 vs 2e-5）；
• 开 packing + assistant_only_loss 是 SFT 标配；
• 性能首选 flash_attention_2 + bf16 + gradient_checkpoint（紧时）。