I IT 面试题库
NLP 的完整处理流水线是什么?从原始文本到可建模的特征要经过哪些步骤?
初级简答题自然语言处理工程师NLP算法工程师NLP分词文本预处理词向量
题目
考察点:文本预处理全链路、中文分词特殊性、表示学习从 one-hot 到预训练。
参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 70 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
- 流水线:采集与清洗(去 HTML/乱码/去重)→ 分词与词性标注 → 归一化(大小写/繁简/全半角)→ 停用词处理 → 特征表示 → 模型 → 后处理。
- 中文分词:英文天然空格切分,中文需要分词——规则法(最大匹配)、统计法(HMM/CRF)、深度法(BiLSTM-CRF、预训练模型 tokenizer)。歧义与未登录词(新词/人名)是难点。子词方案(BPE/WordPiece)部分绕开了分词问题,大模型时代中文多直接用字/子词级 tokenizer。
- 表示演化:one-hot(稀疏无语义)→ TF-IDF(统计加权)→ Word2Vec/GloVe(静态词向量,一词一向量解决不了多义)→ BERT 等上下文表示(动态向量,多义词随语境变)。
- 典型任务分层:分类/匹配(易)→ 序列标注(NER)→ 生成(摘要/翻译)→ 开放对话。现代实践:预训练模型 + 下游微调或 RAG/提示工程。
题目与答案就在本页;收藏、批注和错题重练在应用内