IT 面试题库

BERT 的输入表示是如何构造的?Token / Segment / Position Embedding 各自编码什么?[CLS] 与 [SEP] 的作用?为什么用 WordPiece?

中级场景题算法工程师机器学习工程师BERT输入表示EmbeddingWordPieceCLS

题目

说明 BERT 输入的三段 Embedding 相加结构、特殊符号与子词切分。

参考答案

内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 19 天前更新

要点:

小结:BERT 输入是「词+句段+位置」三路相加,并用 [CLS]/[SEP] 组织句级任务,WordPiece 平衡词表与覆盖。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题