参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 26 天前更新
要点:
- 过滤法(VarianceThreshold / SelectKBest):按统计指标筛选——
VarianceThreshold 删掉方差近 0(几乎不变的常量特征);SelectKBest 按卡方/互信息/F 值挑 top-K 最相关的特征,计算快但忽略特征间冗余。
- 包裹/嵌入法:用模型自身选特征(LR 的 L1 正则、树模型的 feature_importances_、XGBoost 的 gain),能考虑特征组合效应,更贴合最终模型。
- PCA 降维:无监督地把相关特征投影到正交主成分,适合消除多重共线性、压缩维度;但主成分是原特征的线性组合,可解释性变差,且可能丢掉对目标重要的微小方差方向。
- 过拟合 vs 信息丢失的权衡:删太多强相关但冗余的特征可能误删关键信号;建议看学习曲线/交叉验证——特征数增加验证集指标不再提升时即可停;生产上常保留可解释的单特征 + 用嵌入法做隐式选择。