Lasso的三种解读视角

lasso可以把回归系数设为零

ridge表面上看起来和lasso很相似，但是它不能将系数设为零

二者的不同是因为限制条件的边界不同

lasso和ridge都可以看做是最小化下面的函数

不同之处在于限制条件：

lasso的是 ，ridge的是

L1范数是方正的，它的角是落在坐标轴上的，形状是高维超正体（cross polytope）

L2范数是圆润的， n -sphere ，它没有corner

它的最值发生在切点或是角点上

ridge 回归可以解释为线性回归，其系数先验地服从正态分布。（normal prior distributions）

lasso也可以被解释为，其系数服从拉普拉斯先验分布。（  Laplace prior distributions ）

拉普拉斯先验分布在0处十分尖峰，比正态分布更聚焦于零附近，这也解释了为什么lasso更倾向于将一些系数设定为零。

凸松弛解释

lasso也可以看作是回归凸松弛***子集选取问题，找到最多k个系数，使得目标函数最小化，k=n,n是总系数个数。

spss ***软件进行lasso回归时提示某项数字恒定,应该怎么处理

输入K值进行回归建模。

***步：Lasso回归分析前需要结合轨迹图确认K值；K值的选择原则是各个自变量的标准化回归系数趋于稳定时的最小K值。K值越小则偏差越小，K值为0时则为普通线性OLS回归；SPSSAU提供K值智能建议，也可通过主观识别判断选择K值；

第二步：对于K值，其越小越好，通常建议小于1；确定好K值后，即可主动输入K值，得出Lasso回归模型估计。

什么是lasso回归

LASSO回归模型是由1996年Robert Tibshirani首次提出，全称Least absolute shrinkage and selection operator。该方法是一种压缩估计。它通过构造一个惩罚函数得到一个较为精炼的模型，使得它压缩一些回归系数，即强制系数绝对值之和小于某个固定值；同时设定一些回归系数为零。因此保留了子集收缩的优点，是一种处理具有复共线性数据的有偏估计。

L1/L2正则化方法

对于一个回归模型（比如多项式回归）而言，假如我们用MSE作为其损失函数，为了避免其参数过多导致模型过拟合，我们可以加入正则化项。

当我们加一个平方项：

其中theta是该模型各项的系数。

这样的正则化就是L2正则化，就是加了一个平方项。

如果不加平方项，而是绝对值：

这样的方法被称作L1正则化，也就是Lasso回归的方式。因为Lasso趋向于使得一部分theta为0，所以Lasso可以做 特征选择 。

此外还有一种L0正则，也就是引入一项，使得的个数尽可能的小。但是这是一个离散***化问题，可能需要穷举，这是一个NP难的问题。所以我们实际上是用L1正则来取代这种方法。

最后还有弹性网络(Elastic Net)，其实就是将L1与L2正则项结合起来。

lasso回归的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于lasso回归基本原理、lasso回归的信息别忘了在本站进行查找喔。