考察编码器/解码器范式与预训练目标差异。
BERT 是双向 Transformer 编码器 + 掩码语言模型(MLM)预训练,每个 token 同时看左右上下文,擅长理解类任务;GPT 是单向(从左到右)Transformer 解码器 + 下一词预测预训练,带因果掩码,擅长生成类任务。
| | BERT | GPT |
|---|---|---|
| 结构 | Transformer Encoder(双向自注意力) | Transformer Decoder(因果掩码) |
| 预训练 | 随机 mask 约 15% 的 token 再预测 + NSP/SOP | 自回归预测下一个 token |
| 使用方式 | 微调 + 任务头 | prompt + 上下文学习 / 指令微调 |
| 擅长 | 分类、NER、句子匹配、语义检索 | 文本生成、对话、few-shot |
面试追问常见点:BERT 双向是指预训练目标允许看全句,不是某种特殊注意力数学;GPT 的 few-shot 能力来自自回归目标的「模式补全」本质。
题目与答案就在本页;收藏、批注和错题重练在应用内