参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 19 天前更新
要点:
- 三段 Embedding 相加:BERT 每个输入 token 的最终向量 = Token Embedding + Segment Embedding + Position Embedding(逐位相加)。
- Token Embedding:词或子词本身的语义向量,来自 WordPiece 词表。
- Segment Embedding:区分句子 A 与句子 B(0 或 1),用于句对任务(如蕴含、相似度),单句任务全为 0。
- Position Embedding:编码词在序列中的位置(可学习绝对位置),弥补 Attention 本身的无序性。
- 特殊符号:序列开头放
[CLS],其最终隐状态用于聚合整句表示(分类任务取它);句间与句尾放 [SEP] 分隔或收尾。
- 为什么 WordPiece:把词切成高频子词(如
playing→play+##ing),既控制词表规模、缓解 OOV,又能共享形态信息,对未登录词更鲁棒。
小结:BERT 输入是「词+句段+位置」三路相加,并用 [CLS]/[SEP] 组织句级任务,WordPiece 平衡词表与覆盖。