Unsloth
中文 Tutorial 入门书 · 单卡 2-5× 加速 + 80% 显存优化
Unsloth 用手写 Triton kernel 把 LoRA / QLoRA 微调做到单卡2-5× 加速 + 30-70% 显存下降。
它不是独立训练框架，而是 HuggingFace + PEFT + TRL 生态的"加速插件"——
把 model 用 FastLanguageModel 起来，剩下的代码不变。
面向：单卡（4090/3090/A100）想微调 7B-70B 模型的开发者；好奇"为什么 LoRA 还能再快两倍"的人。
前置：PyTorch；最好理解 LoRA 的低秩矩阵原理。
·完整目录
| 章节 | 标题 | 状态 |
|---|---|---|
| 序 | 单卡微调的春天 | ✅ |
| 第 1 章 | 项目背景与定位 | ✅ |
| 第 2 章 | 安装与硬件支持矩阵 | ✅ |
| 第 3 章 | 快速上手：Colab 跑 Llama-3 8B | ✅ |
| 第 4 章 | 核心概念：FastLanguageModel 与 patcher | ✅ |
| 第 5 章 | 加速原理：Triton kernel 与 fused LoRA | ✅ |
| 第 6 章 | 显存优化：4bit / gradient checkpointing 增强版 | ✅ |
| 第 7 章 | 长上下文：RoPE scaling + 长序列优化 | ✅ |
| 第 8 章 | 与 TRL / LLaMA-Factory / Axolotl 集成 | ✅ |
| 第 9 章 | 多 GPU：Unsloth Pro / 社区方案 | ✅ |
| 第 10 章 | 实战：4090 上训 Llama-3 8B 中文对话模型 | ✅ |
| 第 11 章 | 常见错误：动态编译失败、kernel 兼容性 | ✅ |
| 第 12 章 | 模型导出：merge / GGUF / 推理服务 | ✅ |
| 第 13 章 | 源码导读：Triton kernel 文件结构 | ✅ |
·怎么读这本书
- 顺序读：第 1-4 章理解 Unsloth 是什么以及怎么用，第 5-7 章理解技术细节，第 8-12 章实战 / 集成 / 部署。
- 实战派：直接看第 3 章 30 行 demo，第 10 章给完整 4090 训中文对话模型案例。
- 研究者：第 5 章（Triton kernel）和第 13 章（源码导读）是核心，配合 Triton 官方 tutorial 一起读。
配套源码
../../repos/unsloth/ 已克隆好（commit 1cf145c070ea），书中所有源码引用都基于该 commit 精确成立。