参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 19 天前更新
要点:
- BERT 是什么:BERT(Bidirectional Encoder Representations from Transformers)是 Google 2018 年提出的预训练语言模型,核心思想是先在大规模无标注语料上做「掩码语言建模」学出通用的双向上下文表示,再迁移到下游任务微调。
- 基于 Transformer 的哪部分:BERT 只用 Transformer 的编码器(Encoder) 堆叠(Base 12 层、Large 24 层),不用解码器。编码器擅长「看全上下文做理解」,契合分类、NER、匹配等理解类任务。
- 为什么不用解码器:解码器带因果掩码(causal mask),只能看见左侧、是单向的,适合生成;而 BERT 的目标是「理解」,需要同时利用左右上下文,因此用双向的编码器。GPT 系列用解码器是另一个方向。
- 意义:预训练加微调范式让小数据下游任务也能借助大模型能力,是 NLP 预训练时代的里程碑。
小结:BERT = Transformer 编码器 + 双向预训练,专为「理解」而生。