BERT 是双向预训练语言模型的代表,其预训练目标与单向模型(如 GPT)有本质不同,面试常考其任务设计的动机。
随机遮盖输入中约 15% 的 token,让模型根据左右双向上下文预测被遮盖的词。与从左到右的 LM 不同,MLM 能同时利用上文和下文,学到更深的双向语义表示。
判断两个句子是否在原文中相邻,帮助模型建模句子间关系(问答、推理等)。
如果总是用 [MASK] 替换,预训练(有 [MASK])与微调(输入无 [MASK])会出现分布不一致(train/inference mismatch)。BERT 的做法是:
[MASK];这样模型在预训练时也能见到「未被遮盖」的输入,缓解微调时的不匹配。
注:后续研究(如 RoBERTa)发现 NSP 收益有限,去掉 NSP、加大数据反而更好,但理解 BERT 的 MLM 仍是基础。
题目与答案就在本页;收藏、批注和错题重练在应用内