线性回归多变量预测

小小程序员

发布于 2023-12-01 08:29:51

2090

发布于 2023-12-01 08:29:51

文章被收录于专栏：小小程序员——DATA小小程序员——DATA

多变量预测

多元线性回归

对于多个特征量(Features)，规定符号表示：

特征的总数量

x^{(i)}

第i个训练样本的输入特征向量，

表示的是一个索引(Index)

x_j^i

第i个训练样本中特征向量的第j个值

此时的假设函数不再是单纯的

h_θ (x)=θ_0+θ_1 x

对于多个特征量，此时的假设函数为：

h_θ (x)=θ^T x=θ_0+θ_1 x^{(1)}+θ_2 x^{(2)}+…+θ_n x^{(n)}

对这个样本进行简化：定义

x_0^i=1

, 定义参数向量：

x=\begin{bmatrix} x_0\\x_1\\...\\x_n\end{bmatrix}n

，系数向量：

θ=\begin{bmatrix}θ_0\\θ_1\\…\\θ_n\end{bmatrix}

有：

h_θ (x)=θ^T x

这就是假设函数的向量形式。

梯度下降算法在多元线性回归中的应用

对于假设函数：

h_θ (x)=θ^T x=θ_0+θ_1 x^{(1)}+θ_2 x^{(2)}+…+θ_n x^{(n)}

和损失函数：

J(θ_0,θ_1,…,θ_n)=\frac{1}{2m} ∑_{i=1}^m(h_θ (x^{(i)} )−y^{(i)} )^2

此时的梯度下降算法： Repeat{

θ_j≔θ_j−α\frac{∂J(θ)}{∂θ_j}

} 对

\frac{∂J(θ)}{∂θ_j}

进行等价变形： Repeat{

θ_j≔θ_j−α\frac{1}{m}∑_{i=1}^m(h_θ (x^{(i)} )−y^{(i)}) x_j^i

}

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2023-11-30，如有侵权请联系 cloudcommunity@tencent.com 删除

线性回归

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

登录后参与评论

0 条评论

热度