考察 LoRA 低秩分解原理、显存账本与选型。
LoRA(Low-Rank Adaptation):冻结原模型全部权重,在目标层(通常是注意力的线性投影 W)旁挂两个低秩矩阵 A(d×r) 与 B(r×d),前向变为 h = Wx + (B·A)x,秩 r 通常取 4~64,远小于 d(4096 级)。只训练 A、B,可训练参数量下降 3~4 个数量级。
微调显存大头不是权重,而是梯度和 Adam 优化器状态(每个可训练参数两份 fp32 动量):
| 方案 | 显存 | 效果上限 | 适用 |
|---|---|---|---|
| 全参微调 | 最高 | 最高 | 领域大改、数据充足、卡管够 |
| LoRA/QLoRA | 低 | 多数场景接近全参 | 快速适配、多 adapter 热插拔 |
| P-Tuning/前缀 | 最低 | 简单任务够用 | 分类/抽取类轻任务 |
追问点:LoRA 改变的是「权重」而 Prompt 类方法改的是「激活」,前者能力上限更高;CPT(继续预训练)场景 LoRA 相对弱,通常加大 r 或混合全参。
题目与答案就在本页;收藏、批注和错题重练在应用内