[mqic6czuv1.png]
2 线性回归算法概述
2.1 线性回归简介
◆ 在回归分析中,自变量与因变量之间满足或基本满足线性关系,可以使用线性模型进行拟合
◆ 如回归分析中,只有一个自变量的即为一元线性回归...,随机梯度下降特别适合变量众多,受控系统复杂的模型,尤其在深度学习中具有十分重要的作用
5.2 从梯度说起
◆ 梯度是微积分中的一个算子,用来求某函数在该点处沿着哪条路径变化最快,通俗理解即为在哪个路径上几何形态更为...◆ 对于欠拟合状态,只需要加大训练轮次,增加特征量,使用非线性模型等即可实现
◆ 而相反,过拟合却往往更加棘手
◆ 常用的减少过拟合的方法有交叉验证法,正则化方法等
8.3.1 交叉验证法
◆ 所谓交叉验证法...,就是在训练过程中,将训练数据集拆分为训练集和验证集两个部分
训练集专用训练模型
验证集只为检验模型预测能力
当二者同时达到最优,即是模型最优的时候
[34nsdlpng3.png]
8.4 正则化原理... w 的最小二乘 y 以拟合变量 x,它是一个二次规划问题:
[quea2emrtb.png]
保序回归应用于统计推理、多维标度等研究中。