参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 已复核 · 28 天前更新
全量微调
- 更新全部参数,效果上限高但显存/算力/存储成本大,小数据容易灾难性遗忘;适合数据充足、任务与基座差异大。
PEFT
- LoRA:冻结原权重,训练低秩
A/B 矩阵,推理可合并;rank/alpha 控制容量,显存低、易多任务切换。
- QLoRA:4bit 量化基座 + LoRA,进一步降显存;Adapter/prefix/prompt tuning 插入少量参数。
- 适合领域风格/指令跟随/格式适配;知识更新仍优先 RAG。
选型
- 先 Prompt/RAG 基线;需要稳定风格/格式且标注足够→LoRA/QLoRA;全量微调用于大预算/高上限。
- 评估任务指标、通用能力遗忘、延迟/成本;数据质量比方法更重要。