机器学习——L1约束最小二乘法

昨天介绍的是基于L2约束的最小二乘法，就是最后加了一项参数的L2范数的正则项作为约束条件，以此来防止过拟合，也被称为岭回归RR（Ridge Regression）。

今天介绍的L1约束的最小二乘学习的方法，其实就是将L2的约束条件改成了L1范数的，这样做的结果就是可以使最后求解得到的参数尽可能稀疏，L1约束的LS也被称作Lasso(Least absolute shrinkage and selection operator），它由 Tibshirani在1996年提出，该方法是一种压缩估计。它通过构造一个罚函数得到一个较为精炼的模型，使得它压缩一些系数，同时设定一些系数为零。因此保留了子集收缩的优点，是一种处理具有复共线性数据的有偏估计。

两个表达式的等高线如图：

可以看出来，L2约束条件是一个球，L1约束是一个多面体，所以L1约束条件与J相交有更大的可能会交在坐标轴上，也就是稀疏解（0多），这样做的好处就是节省计算量。