线性回归 - 岭回归

本文记录岭回归角度进行线性回归的方法。

问题描述

考虑一个线性模型 {y}=f({\bf{x}}) 其中y是模型的输出值，是标量，\bf{x}为d维实数空间的向量

• 线性模型可以表示为:

• 线性回归的任务是利用n个训练样本：

• 和样本对应的标签：

• 来预测线性模型中的参数 \bf{\omega}，使得模型尽可能准确输出预测值

线性回归 / 岭回归

岭回归就是带有L_2正则的线性回归>

• 之前最小二乘法的损失函数：

• 岭回归的代价函数：

• 上式中 \lambda 是正则化系数，现在优化的目标就转为 J(w) 函数了

• 对上面的函数求导并令导数为0, 得到

• 从上式不难得到：

• 要更直观的理解 \lambda 的作用, 可以假设每个样本只有一个属性, \quad X^{T} X 就是一个实数, 所以:

可以看到，随着 \lambda 的增大, \quad \hat{w} 的值会渐渐减小, 对 \hat{w} 起到了抑制作用

参考资料

• https://zhuanlan.zhihu.com/p/86009986