IT面试题库
BERT面试题
BERT方向的 9 道 IT 面试题,覆盖高频考点、参考答案与错题复习。
高频题目
BERT 的预训练任务(MLM + NSP)是怎么设计的?为什么 MLM 要用 [MASK] 却又引入 15% 的随机替换策略?
中级 · 新题
BERT 与 GPT 的核心区别是什么?双向编码与单向解码分别适合什么任务?为什么生成任务必须用因果掩码?
中级 · 新题
BERT 是什么?它基于 Transformer 的哪一部分?为什么用编码器而不是解码器?
初级 · 新题
Self-Attention 的计算过程是怎样的?缩放点积注意力与多头注意力分别解决什么?
初级 · 新题
BERT 的输入表示是如何构造的?Token / Segment / Position Embedding 各自编码什么?[CLS] 与 [SEP] 的作用?为什么用 WordPiece?
中级 · 新题
BERT 的预训练任务 MLM / NSP 训练了什么能力?后续 RoBERTa 等为何反思甚至去掉 NSP?
中级 · 新题
如何基于 BERT 做下游任务微调?文本分类、NER、句子对匹配的输入构造与输出层有何差异?为什么通常在 [CLS] 上接分类头?
中级 · 新题
BERT 有哪些已知局限?RoBERTa、ALBERT、ELECTRA 等改进各自针对什么痛点?
高级 · 新题
工业界部署 BERT 类模型做推理服务时会遇到哪些挑战?常见的加速与压缩手段有哪些?
高级 · 新题
在线刷BERT题 →