GPT-3 论文展示了大模型仅凭提示词里的少量示例即可泛化到新任务,而无需微调,这是大模型区别于传统监督学习的关键能力。
模型在推理时,把若干「输入-输出」示例拼接进 prompt,再接上待预测样本,直接生成答案——整个过程不做任何梯度更新(无微调),仅靠注意力在上下文中「类比」示例完成任务。
shot 数(0/1/k)越多通常越好,但受上下文窗口限制;示例的排列、格式一致性会显著影响效果。这也是后来 RLHF、思维链(CoT)等技术的地基。
题目与答案就在本页;收藏、批注和错题重练在应用内