问包含范畴变量的LASSO子集选择

EN

也许这个问题更适合于交叉验证的。

岭回归和拉索都是“收缩”方法，通常用来处理高维预测空间。

事实是，你的拉索回归减少了一些贝塔系数为零，这意味着，拉索正在做的正是它的设计！根据它的数学定义，拉索假定一些系数确实等于零。系数的解释是，与非零预测器相比，这些预测器不能解释响应中的任何方差。

为什么拉索把一些系数缩小到零？我们需要研究系数是如何选择的。Lasso本质上是一个多元线性回归问题，它通过最小化平方的残差和，再加上一个将系数缩减到0的特殊的L1惩罚项来解决。这是一个最小化的术语：

​

其中p是预测器的个数，lambda是一个非负的调谐参数.当lambda =0时，惩罚项就会退出，并且有一个多元线性回归。随着lambda变得更大，您的模型拟合将有较小的偏差，但更高的差异(即它将受到过度拟合)。

应该采取交叉验证的方法来选择适当的调整参数lambda。获取lambda值的网格，并计算每个lambda值的交叉验证错误，并选择交叉验证误差最低的调优参数值。

Lasso在某些情况下是有用的，有助于生成简单的模型，但应特别考虑数据本身的性质，以及考虑到与响应有多少真正相关的预测因子是否更合适，例如Ridge回归或OLS回归。

注意:参见“统计学习简介”第221页中的公式6.7，您可以免费下载它。