IT 面试题库

把用户偏好或领域知识固化成 LoRA 参数(参数化记忆)可行吗?为什么说参数记忆「写进去容易、删不掉」,它和向量记忆、RAG 的边界在哪里?

高级开放讨论题算法工程师LLM应用开发工程师LoRA参数记忆Machine UnlearningRAG与微调

题目

考察点:对微调本质与参数记忆风险的理解,以及记忆存储形式的选型判断。

参考答案

内容深度:详细 · 含示例/代码 · 来源:外部链接 · 未复核 · 54 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

要点:Agent 记忆按存储位置和表征形式可以分成三类,这个视角能帮我们看清微调在记忆体系里的位置。

| 存储形式 | 说明 | 典型实现 |

| --- | --- | --- |

| Token 级记忆 | 以自然语言或离散符号存储在外部数据库 | 向量库中的文本块、结构化 JSON |

| 参数化记忆 | 把信息编码进模型参数中 | 预训练知识、LoRA 适配器、SFT 微调 |

| 潜在记忆 | 以隐式形式承载在模型内部表示中 | KV Cache、激活值、Hidden States |

这三种形式并不完全割裂。MemOS 的“记忆立方体”支持从纯文本记忆、激活记忆(KV Cache)到参数记忆的动态流转:热记忆放到更近的位置,冷记忆用更重的方式固化。典型梯度是:

纯文本记忆 --(高频使用)--> 激活记忆(KV Cache) --(长期固化)--> 参数记忆(LoRA)
     ↑                                                          │
     └──────────────(知识过时/卸载)─────────────────────────────┘

为什么参数记忆“写进去容易、删不掉”

和向量记忆、RAG 的边界

工程结论:知识变动频繁、需要引用来源 → 优先 RAG;输出风格和任务行为不稳定 → 考虑微调;既要懂领域表达又要查实时知识 → 两者结合,但这意味着两套系统都要维护,资源有限时先把 RAG 做稳。参数记忆只应承载变化很慢的偏好,并且必须提前设计卸载路径和评测口径——否则一旦偏好过时,你会发现自己既删不掉,也回滚不了。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题