IT 面试题库

LoRA 微调的原理是什么?低秩旁路为什么能省下绝大部分显存?与全参微调、P-Tuning 如何选型?

高级简答题算法工程师机器学习工程师LLM应用开发工程师MLOps工程师LoRA微调低秩显存优化

题目

考察 LoRA 低秩分解原理、显存账本与选型。

参考答案

内容深度:详细 · 无代码示例 · 来源:外部链接 · 未复核 · 51 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

结论

LoRA(Low-Rank Adaptation):冻结原模型全部权重,在目标层(通常是注意力的线性投影 W)旁挂两个低秩矩阵 A(d×r) 与 B(r×d),前向变为 h = Wx + (B·A)x,秩 r 通常取 4~64,远小于 d(4096 级)。只训练 A、B,可训练参数量下降 3~4 个数量级。

显存账本:省在哪

微调显存大头不是权重,而是梯度和 Adam 优化器状态(每个可训练参数两份 fp32 动量):

关键实践

选型

| 方案 | 显存 | 效果上限 | 适用 |

|---|---|---|---|

| 全参微调 | 最高 | 最高 | 领域大改、数据充足、卡管够 |

| LoRA/QLoRA | 低 | 多数场景接近全参 | 快速适配、多 adapter 热插拔 |

| P-Tuning/前缀 | 最低 | 简单任务够用 | 分类/抽取类轻任务 |

追问点:LoRA 改变的是「权重」而 Prompt 类方法改的是「激活」,前者能力上限更高;CPT(继续预训练)场景 LoRA 相对弱,通常加大 r 或混合全参。
练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题