参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 19 天前更新
要点:
- BERT 的局限:① 预训练用静态掩码,每个 epoch 见到的掩码一致,数据利用不充分;② NSP 收益弱(见上);③ 参数量大、训练与推理贵;④ 以字或子词为单位、对生成与长文档弱。
- RoBERTa:针对「训练不充分/NSP 鸡肋」——去掉 NSP、动态掩码、更大批量、更长训练、更多数据,纯 MLM 大幅提分。
- ALBERT:针对「参数冗余/显存大」——用词嵌入因式分解与跨层参数共享,把参数量压到极小,显存与训练速度大幅改善(以少量精度换效率)。
- ELECTRA:针对「MLM 只更新 15% 位置、样本效率低」——改用替换检测(RTD):一个小生成器制造替换词,判别器判断每个位置是否被替换,所有位置都参与训练,样本效率与速度显著提升。
小结:后续模型围绕「训练效率、参数规模、样本效率」三条主线补 BERT 的短板,而非推翻其双向编码器范式。