参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 19 天前更新
要点:
- MLM(掩码语言模型):随机遮盖约 15% 的 token,让模型根据左右双向上下文预测被盖住的词。它训练的是「深层双向语境理解」能力,是 BERT 双向性的来源。为避免预训练与微调不一致,15% 中 80% 换成 [MASK]、10% 随机词、10% 原词。
- NSP(下一句预测):构造句对,让模型判断 B 是否紧接 A(二分类),训练句子间关系/连贯性理解,服务句对任务。
- NSP 的反思:后续研究发现 NSP 收益有限甚至有害——因为「下一句」与「随机句」区分太简单,模型容易走捷径学到主题而非连贯性;且长文档内负采样噪声大。
- RoBERTa 的做法:去掉 NSP,改用动态掩码 + 更大批量 + 更长训练 + 更多数据的纯 MLM,效果反而更好,证明「干净的大语料 MLM」比 NSP 更关键。
小结:MLM 是 BERT 双向理解的核心;NSP 初衷好但实证收益弱,后来主流模型多弃用或弱化它。