IT 面试题库

GPT-3 提出的「上下文学习 / 少样本学习」(in-context / few-shot learning)是什么?为什么大模型能不更新参数就完成新任务?

高级简答题算法工程师AI应用开发工程师GPT-3少样本大模型

题目

GPT-3 论文展示了大模型仅凭提示词里的少量示例即可泛化到新任务,而无需微调,这是大模型区别于传统监督学习的关键能力。

参考答案

内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 77 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

什么是 in-context learning

模型在推理时,把若干「输入-输出」示例拼接进 prompt,再接上待预测样本,直接生成答案——整个过程不做任何梯度更新(无微调),仅靠注意力在上下文中「类比」示例完成任务。

为什么不需要更新参数

实践要点

shot 数(0/1/k)越多通常越好,但受上下文窗口限制;示例的排列、格式一致性会显著影响效果。这也是后来 RLHF、思维链(CoT)等技术的地基。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题