众所周知,线性回归的成本函数是:
📷
当我们使用岭回归时,我们只是添加lambda*斜率*2,但是在这里,我总是看到以下是线性回归的成本函数,在这里它是not divided by the number of records。
📷
所以,我只想知道什么是正确的成本函数,Ik都是正确的,但是在丁岭或拉索为什么我们忽略了除法部分呢?
我有一个关于岭回归的问题,以及当数据集很大时它的好处(相对于OLS)。当数据集较大时(例如50,000 vs 1000),脊线回归的好处是否消失了?当数据集足够大时,常规的OLS模型难道不能确定哪些参数更重要,从而减少对惩罚项的需求吗?当数据集较小且存在高方差的空间时,岭回归是有意义的,但对于大型数据集,我们是否期望它的预期好处(相对于OLS)消失?
最近我把我的代码从R复制到Python,我确实需要一些关于代码的帮助。据我所知,sklearn中的逻辑回归仅包括l1或l2正则化项,分别代表套索回归和岭回归。然而,同时实现l1和l2正则化项,即ElasticNet可能要好得多。 在R的情况下,有一个值得注意的包glmnet,它可以完美地部署上述思想,而python中的glmnet包似乎只支持Linux系统,而不是我电脑上的windows10(请参考this)。另外,如果该包能够可视化结果(如收缩路径)会更好。 #logtistic with penalty terms in sklearn
from sklearn.linear_model