IT 面试题库

BERT 的预训练任务(MLM + NSP)是怎么设计的?为什么 MLM 要用 [MASK] 却又引入 15% 的随机替换策略?

中级简答题自然语言处理工程师NLP算法工程师BERT预训练NLP

题目

BERT 是双向预训练语言模型的代表,其预训练目标与单向模型(如 GPT)有本质不同,面试常考其任务设计的动机。

参考答案

内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 77 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

MLM(Masked Language Model,掩码语言建模)

随机遮盖输入中约 15% 的 token,让模型根据左右双向上下文预测被遮盖的词。与从左到右的 LM 不同,MLM 能同时利用上文和下文,学到更深的双向语义表示。

NSP(Next Sentence Prediction,下一句预测)

判断两个句子是否在原文中相邻,帮助模型建模句子间关系(问答、推理等)。

为什么引入 15% 随机策略

如果总是用 [MASK] 替换,预训练(有 [MASK])与微调(输入无 [MASK])会出现分布不一致(train/inference mismatch)。BERT 的做法是:

这样模型在预训练时也能见到「未被遮盖」的输入,缓解微调时的不匹配。

注:后续研究(如 RoBERTa)发现 NSP 收益有限,去掉 NSP、加大数据反而更好,但理解 BERT 的 MLM 仍是基础。
练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题