I IT 面试题库
大模型的「预训练 + 有监督微调(SFT) + 提示学习」三段式范式如何演进?SFT 与上下文学习(ICL)各自解决什么问题?
中级简答题算法工程师机器学习工程师自然语言处理工程师NLPLLM应用开发工程师预训练SFT提示学习ICL大模型范式
题目
考察点:理解预训练语言模型从「全参数微调」到「少样本提示」的能力获取路径。
参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 45 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
- 预训练:在海量无标注语料上做自监督任务(如 GPT 的因果语言建模、BERT 的掩码语言建模),学到通用的语法、知识与语义表示,是能力的「底座」。
- 有监督微调(SFT):用高质量指令/对话数据继续训练,把通用能力对齐到具体任务与人类的表达习惯,是「学会按要求做事」的关键一步。
- 提示学习 / 上下文学习(ICL):不更新参数,仅在输入里放少量示例或自然语言指令,模型就能泛化到新任务(GPT-3 展示的 few-shot 能力)。它把「任务定义」从训练阶段移到了推理阶段。
- 取舍:SFT 改权重、效果稳定但要训练成本;ICL 零训练、灵活但依赖模型规模与提示质量,且上下文长度有限。实践中常以 SFT 打底、再用提示/RAG 做下游适配。
题目与答案就在本页;收藏、批注和错题重练在应用内