参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 26 天前更新
要点:
- One-Hot:每个取值变一列 0/1,无大小关系、树/线性模型都友好;但高基数灾难——取值上千时维度爆炸、稀疏,且类别新增会维度漂移。
- Label/Ordinal 编码:映射成整数,省空间但强行引入「大小顺序」,对树模型可接受、对 LR/距离模型有害(误以为 3>2)。
- Target/均值编码:用目标变量在该类别下的平均取值作为编码,信息量极高、维度低;但极易过拟合+目标泄露——必须用交叉验证(out-of-fold)或加平滑(贝叶斯先验)来抑制,且线上要和训练一致。
- Embedding:把高基数类别(user_id/item_id)映射为低维稠密向量(用 CF/双塔/词向量预训练),兼顾表达力与维度,是推荐/搜索的主流;代价是需要额外训练且可解释性差。
- 选择:低基数用 One-Hot;中高基数用 Target 编码(带平滑);超高基数用 Embedding 或哈希编码。