PEFT
中文 Tutorial 入门书
面向:所有"听过 LoRA 但没读过 PEFT 源码"的人;想理解参数高效微调算法原理与工程实现的开发者。
前置:transformers 用过;理解 Linear / Embedding 等 PyTorch 基本模块。
本书的目标
- 看着论文复现/选择各种 PEFT 算法(LoRA / QLoRA / AdaLoRA / IA³ / Prefix Tuning / Prompt Tuning / DoRA 等);
- 改 PEFT 源码加入新算法;
- 理解 LoRA 在前向 / 反向 / 优化器层面的实际开销。
目录
| 章节 | 标题 | 状态 |
|---|---|---|
| 第 1 章 | 项目背景与定位 | ✅ |
| 第 2 章 | 安装与最小 LoRA 例子 | ✅ |
| 第 3 章 | QLoRA 4bit 最小例子 | ✅ |
| 第 4 章 | 三大抽象:PeftConfig / PeftModel / Tuners | ✅ |
| 第 5 章 | LoRA 深挖(含 DoRA / rsLoRA / 初始化) | ✅ |
| 第 6 章 | QLoRA 深挖(5 种量化兼容) | ✅ |
| 第 7 章 | AdaLoRA / DoRA | ✅ |
| 第 8 章 | IA³ / VeRA / LoHa / LoKr / OFT | ✅ |
| 第 9 章 | Prompt / Prefix / P-Tuning | ✅ |
| 第 10 章 | 多 Adapter 高级用法 | ✅ |
| 第 11 章 | 调试与踩坑合集 | ✅ |
| 第 12 章 | 自己写一个新 PEFT 方法 | ✅ |
| 第 13 章 | 源码走读路线图 | ✅ |