IT 面试题库

BERT 与 GPT 的核心区别是什么?双向编码与单向解码分别适合什么任务?为什么生成任务必须用因果掩码?

中级简答题自然语言处理工程师NLP算法工程师机器学习工程师BERTGPT注意力预训练

题目

考察编码器/解码器范式与预训练目标差异。

参考答案

内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 51 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

结论

BERT 是双向 Transformer 编码器 + 掩码语言模型(MLM)预训练,每个 token 同时看左右上下文,擅长理解类任务;GPT 是单向(从左到右)Transformer 解码器 + 下一词预测预训练,带因果掩码,擅长生成类任务。

结构与预训练对照

| | BERT | GPT |

|---|---|---|

| 结构 | Transformer Encoder(双向自注意力) | Transformer Decoder(因果掩码) |

| 预训练 | 随机 mask 约 15% 的 token 再预测 + NSP/SOP | 自回归预测下一个 token |

| 使用方式 | 微调 + 任务头 | prompt + 上下文学习 / 指令微调 |

| 擅长 | 分类、NER、句子匹配、语义检索 | 文本生成、对话、few-shot |

为什么不能互换

面试追问常见点:BERT 双向是指预训练目标允许看全句,不是某种特殊注意力数学;GPT 的 few-shot 能力来自自回归目标的「模式补全」本质。
练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题