核心概念：FastLanguageModel 与 patcher

Unsloth 的全部"魔法"，本质上是monkey patch + Triton kernel 替换。 本章把 FastLanguageModel 这一个公开 API 背后发生的事拆开： 哪些函数被替换、什么时候发生、为什么这种设计能"对用户透明"。

4.1三件套：FastLanguageModel / FastVisionModel / Fast*Model

Unsloth 对外的核心 API 是几个 Fast*Model 类：

本章主要讲 FastLanguageModel，其他几个原理类似。

4.2FastLanguageModel.from_pretrained 做了什么

对调用者完全透明 —— 你拿到的还是一个普通 HF PreTrainedModel，可以接 TRL SFTTrainer、可以 model.generate()。 但内部所有 forward 调用都已经走 Triton kernel。

4.3哪些函数被 patch 了

看 unsloth/models/llama.py，能列出所有 patch 点：

4.4patcher 的实现风格

看 unsloth/models/llama.py 的 FastLlamaModel.pre_patch() 大致结构：

class FastLlamaModel:
    @staticmethod
    def pre_patch():
        # 1. 把 LlamaAttention.forward 替换为自家实现
        from transformers.models.llama.modeling_llama import LlamaAttention
        LlamaAttention.forward = unsloth_attention_forward

        # 2. 把 RMSNorm 替换
        from transformers.models.llama.modeling_llama import LlamaRMSNorm
        LlamaRMSNorm.forward = unsloth_rms_forward

        # 3. 把 RoPE 替换
        ...

        # 4. 把 cross entropy 替换
        import transformers
        transformers.modeling_utils.cross_entropy_loss = unsloth_cross_entropy

        # 5. 修正一些 bug（gpt-oss, phi-4, qwen3 等）
        ...

这种替换类的方法，是 Python 动态语言的能力 —— 任何 import 之后的代码看到的都是被替换后的版本。不用改 transformers 源码。

4.5为什么 patch 优于 fork transformers

Unsloth 选 patch 路线 ≈ "对 HF 用户最友好 + 对 Unsloth 团队最痛苦" 的组合。每次 transformers 大版本更新都会破坏 patch，Unsloth 团队要紧跟修。

4.6FastLanguageModel.get_peft_model

第二步：加 LoRA。Unsloth 的 PEFT 接入是套 peft.get_peft_model 再 patch LoraLayer：

def get_peft_model(model, r, target_modules, lora_alpha, ...):
    # 1. 先调 peft 标准 API
    from peft import LoraConfig, get_peft_model as peft_get_peft_model
    lora_cfg = LoraConfig(r=r, lora_alpha=lora_alpha, target_modules=target_modules, ...)
    model = peft_get_peft_model(model, lora_cfg)

    # 2. 把所有 peft 的 LoraLayer 替换为 unsloth fast_lora
    apply_fast_lora_patches(model)

    # 3. 处理 use_gradient_checkpointing = "unsloth" 这种特殊值
    if use_gradient_checkpointing == "unsloth":
        model = patch_unsloth_gradient_checkpointing(model)

    return model

4.7FastLanguageModel.for_inference 与 for_training

训练和推理模式的差异：

训练完跑 chat / 推理时必须切到 for_inference，否则会用训练 kernel 跑推理（慢 5 倍 + 浪费显存）。

4.8模型注册与扩展

unsloth/registry/ 维护了 Unsloth 支持的模型注册表。新加一种模型架构通常要：

1. 在 unsloth/models/ 新增一个文件（如 my_arch.py），写 FastMyArchModel.pre_patch()；
2. 在 unsloth/registry/ 里注册 model_type → class 映射；
3. 在 unsloth/models/mapper.py 加 HF 模型名 → Unsloth 预量化版的映射。

当前已支持的架构（看 unsloth/models/）：Llama 系（含 Llama-4）、Mistral、Mixtral、Qwen2/3、Qwen3-MoE、Gemma 1-3、Phi-3/4、Cohere（Command-R）、Falcon-H1、Granite、GLM4-MoE。 新架构通常发布几天内 Unsloth 团队会加上。

4.9tokenizer 也被 patch 了

除了模型，Unsloth 还会动 tokenizer：

• padding_side 强制 = "right"：很多 SFT 训练默认用 right padding，但 HF 默认 left padding；
• 修 chat_template：很多模型的官方 chat_template 有 bug，Unsloth 替换为修复版（如 Llama-3 早期版本）；
• 注入 EOS / PAD token：base model 没有 pad token 时用 EOS 顶替。

4.10"看不见的加速"心智模型

这意味着：

• 你可以照搬任意 HF / TRL 教程的代码，唯一改动是第一行 import；
• 你可以接 LLaMA-Factory / Axolotl 等上层框架，它们只要知道用 FastLanguageModel 就行；
• 你不需要懂 Triton，但Triton 在帮你跑。

4.11查看哪些 patch 被应用

启动训练时 Unsloth 会打印一份"patcher report"：

==((====))==  Unsloth 2026.5.4: Fast Llama patching.
   \\   /|    Transformers: 4.46.2. ★ patched
O^O/ \_/ \    SDPA = True (Flash-Attn 2)
\        /    RMSNorm = TRITON (fused)
 "-____-"     RoPE = TRITON (fused)
              CrossEntropy = TRITON (chunked)
              LoRA = TRITON (fused)
              Gradient Checkpointing = UNSLOTH (extra savings)

看到 = TRITON 说明 patch 生效；看到 = PYTORCH 或 = DISABLED 说明回退到原版 —— 那就 grep stderr 看为什么 fallback。

4.12FastLanguageModel 源码定位

4.132026 支持的模型家族

4.14这章带走的

• Unsloth 的核心是动态 monkey patch HF 模型；
• 每种架构在 unsloth/models/<arch>.py 有自己的 patcher；
• LoRA 走 fast_lora.py（Triton 版）；norm / RoPE / cross-entropy / MLP 各有 fused kernel；
• 用户对外只接触 Fast*Model.from_pretrained / get_peft_model / for_inference 三个 API；
• 训练完必须切 for_inference 才能正确推理；
• 启动时看 "patcher report"，确认 TRITON 全开。