参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 75 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
形式(λ 为正则系数)
- L2(Ridge):$\min\, J(\theta) + \lambda\sum \theta_j^2$
- L1(Lasso):$\min\, J(\theta) + \lambda\sum |\theta_j|$
几何直观(等高线 + 约束区域交点)
- L2 约束是圆(球),与损失等高线的交点一般不落在坐标轴上 → 权重整体变小但不全为 0。
- L1 约束是菱形(菱形多面),顶点在坐标轴上;交点极易落在轴上 → 部分权重被精确压缩为 0,产生稀疏解。
为何 L1 能特征选择\n- 绝对值函数在 0 处不可导,次梯度优化会把它推到 0;等价于在最优解处对不重要特征的权重做「截断」。
其他差异
- L2 更稳定、对共线性鲁棒,L1 在特征多且需降维/可解释时更优;
- 实践常组合为 Elastic Net(αL1+(1-α)L2)兼顾二者。