2026-08-09 12:56:29 分类：科技
正则化。这三个字，我敢打赌，你第一次见它肯定是在某个线性回归的loss function末尾——像个小尾巴，λ||w||_2。说实话，当初我以为是某种神秘仪式。后来才发现，这玩意儿本质是给模型戴紧箍咒，让那些想放飞自我的权重复归平静。不过话说回来，紧箍咒戴不好，就不是防止猴子撒野，而是直接把猴勒死了。对吧？今天不聊虚的，直接拆解正则化的底层几何、数据真相，以及那些年我踩过的坑——边踩边骂，但踩完了就真懂了。
L1和L2的几何对决：菱形与圆球的较量
先从最经典的线性回归说起。无正则化的最小二乘就是最小化 ∥y – Xw∥²。加L2就是加上 λ∥w∥²，加L1是 λ∥w∥₁。为什么就能控制过拟合？看损失函数的等高线，它们与约束区域的切点就是最优解。L2约束区域是个超球，L1是个超菱形。和等高线相切时，L1更容易切在坐标轴上，这就产生了稀疏权重——很多分量直接归零。这就是特征选择，也是L1称“拉索”的原因。但L2只会把权重均匀地往小拉，不会归零。所以L2擅长处理特征共线性，而L1适合高维特征筛选。不过实际中，真高维时L1也会疯，毕竟它假设特征之间独立——这就引出弹性网络，那都是后话。
L1正则化与L2正则化约束区域对比图 菱形和圆形
别觉得这只是几何游戏。拿个真实例子：我用Scikit-learn的Lasso回归跑波士顿房价数据，不调参，α默认1.0，测试集MAE 3.6，系数矩阵里13个特征有5个直接被干成0。而用Ridge（α=1.0），MAE 3.0，但所有系数都非零。看起来Ridge误差更低？别急，我把α调到0.01后，Lasso的MAE降到2.8，而且非零系数增加到9个，不仅误差反超Ridge，还保留了可解释性——这就是超参的威力。再有，在MNIST的简单逻辑回归上，加L2（C=0.1）比无正则的测试准确率从91.2%提到92.7%，而L1（C=0.1）稀疏后仍然92.4%，但模型参数数量只有原来的40%。这些数字不是什么实验室玩具，是随便一台机器都能复现的。
落地三大坑点，摔过才懂
坑一：缩放，缩放，还是缩放！ 正则化假设所有特征在同一个量级。如果有个特征范围0-1000，另一个0-1，那L2惩罚会拼命压大尺度特征，小尺度特征几乎没有惩罚。这导致模型被量纲绑架。解决方案？永远在正则化前做标准化（StandardScaler），或者更稳健地用RobustScaler。别偷懒，我见过一个项目就因为忘记Normalize，L2效果比基线还差3个点——组里debug了两天。
坑二：λ不是你想调就能调好的。 很多人上来就用默认1.0或者0.1，然后在测试集上看效果，这不叫调参，这叫瞎蒙。正确的姿势是：利用交叉验证，在验证集上画学习曲线。λ太小，过拟合；λ太大，欠拟合，偏差飙升。最稳妥的是对数尺度的网格搜索，比如[0.0001, 0.001, 0.01, 0.1, 1, 10]。但如果你特征很多，网格搜索爆计算，试试随机搜索或贝叶斯优化。我的经验：在200维的文本分类里，贝叶斯优化只用了网格搜索1/20的时间，找到了相差0.3%以内的λ。这效率，香。
坑三：L1的稀疏不是魔法，不稳定才是常态。 L1求解常用坐标下降或次梯度，但损失函数非光滑，容易震荡收敛。尤其当特征间有强相关性时，L1可能随机挑一个而扔掉另一个，导致模型在不同数据子集上稀疏模式迥异。这就是为什么弹性网络（Elastic Net）几乎成了标配：引入一点L2惩罚，让损失更严格凸，稳定性大幅提升。我在Kaggle竞赛里见过太多人死磕纯L1直接过拟合，换成ElasticNet（l1_ratio=0.5）后，交叉验证标准差降了一半。说到底，这是一种权衡。
Lasso路径图不同α下系数变化趋势 正则化参数
别把正则化当万金油
正则化不是免费的午餐。它本质上引入了偏差，来换取方差降低。如果数据足够多，没有正则化的模型可能更好。此外，正则化不能代替好的特征工程，也不能解决数据泄露——它只能管住你拟合噪声，却管不住你拟合错误。还有，深度学习里Dopout、BatchNorm其实也算隐式正则化，和权重衰减联合使用有时会冲突，得小心调度。总之，正则化是工具，不是信条。
说到底，每次看到有人发论文说“我们用了L2正则化，λ=0.0001”，然后声称SOTA，我都想翻白眼。这参数到底调没调过，自己心里没数？真正的工程美学，是理解每个超参背后的物理含义，而不是往模型里随手撒一把正则化盐。好了，今天就聊这些，下次我们再扒一扒Dropout的内在机理。
免责声明：市场有风险，选择需谨慎！此文仅供参考，不作买卖依据。如有侵权请联系删除。
文章名称：正则化：深入拆解L1/L2的几何本质与落地血泪史
文章链接：https://www.lfdjt.com/info_23_8059.html
