说明 BERT 微调的统一范式及不同任务头的差异。
要点:
[CLS] 文本 [SEP],取 [CLS] 的最终隐状态接一个全连接加 softmax 分类。选 [CLS] 是因为预训练时它就是「聚合整句」的专用向量,且经过 NSP 训练。[CLS] 句子A [SEP] 句子B [SEP],同样取 [CLS] 表示做二或三分类。小结:分类与句对看 [CLS],序列标注与抽取看每个 token——输入构造与输出头随任务而定,但骨架都是「BERT 编码 + 任务头」。
题目与答案就在本页;收藏、批注和错题重练在应用内