IT 面试题库

BERT 的预训练任务 MLM / NSP 训练了什么能力?后续 RoBERTa 等为何反思甚至去掉 NSP?

中级场景题算法工程师机器学习工程师BERTMLMNSP预训练任务RoBERTa

题目

解释 MLM 与 NSP 的训练目标,以及后续模型对 NSP 的质疑。

参考答案

内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 19 天前更新

要点:

小结:MLM 是 BERT 双向理解的核心;NSP 初衷好但实证收益弱,后来主流模型多弃用或弱化它。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题