前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >线性回归 均方误差_线性回归模型中随机误差项的意义

线性回归 均方误差_线性回归模型中随机误差项的意义

作者头像
全栈程序员站长
发布于 2022-11-11 07:09:26
发布于 2022-11-11 07:09:26
9620
举报

大家好,又见面了,我是你们的朋友全栈君。

刚开始学习机器学习的时候就接触了均方误差(MSE,Mean Squared Error),当时就有疑惑,这个式子是怎么推导的,但是因为懒没有深究。今天看到了唐宇迪老师的机器学习课程,终于理解他是怎么推导的了。一定要一步一步看下去,别看他公式这么多,随便认真看一下就能理解的!

问题描述

我们有工资和年龄两个特征,要预测银行会贷款给我们多少钱?

1. 拟合函数

假设: 年龄: x 1 x_1 x1​ 工资: x 2 x_2 x2​ 年龄的参数: θ 1 θ_1 θ1​ 工资的参数: θ 2 θ_2 θ2​ 那么有拟合函数:

(1)

将它转化为矩阵表达形式为:

(2) 其中x0全为1。

2. 误差

真实值和预测值之间通常情况下是会存在误差的,我们用ε来表示误差,对于每个样本都有:

(3) 上标i表示第i个样本。 误差ε是独立并且具有相同的分布,并且服从均值为0,方差为 θ 2 θ^2 θ2的正态分布。 由于误差服从正态分布,那么有:

(4) 将(3)带入(4)中有:

(5)

3. 似然函数

似然函数用于参数估计,即求出什么样的参数跟我们给出的数据组合后能更好的预测真实值,有:

(6) 取(6)式对数,将连乘转化为加法,这也是一般似然函数的求解方法:

(7) 将(7)式展开并化简有:

(8) (8)式等式右侧的第一项为一个常量,似然函数要取最大值,因而第二项越小越好,有:

(9) (9)式相当于最小二乘法的式子,即是均方误差的表达式。下一步我们要解出 θ θ θ的表达式

4. 求导

我们将(9)时表示为矩阵的形式,有:

(10) 接下来需要对矩阵求偏导,矩阵求偏导方法移至矩阵求偏导,过程如下:

(11) 最后解出:

(12)

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/187664.html原文链接:https://javaforall.cn

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022年9月29日 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
机器学习笔记之线性回归数学推导
机器学习涉及大量的高数知识,对待高数不要怕,学习机器学习要指导其中的数学原理,不要沉溺于数据的具体推导公式而耽误整体的学习进度。
Jetpropelledsnake21
2021/02/25
6090
机器学习笔记之线性回归数学推导
【机器学习笔记】:大话线性回归(一)
线性回归作为监督学习中经典的回归模型之一,是初学者入门非常好的开始。宏观上考虑理解性的概念,我想我们在初中可能就接触过,y=ax,x为自变量,y为因变量,a为系数也是斜率。如果我们知道了a系数,那么给我一个x,我就能得到一个y,由此可以很好地为未知的x值预测相应的y值。这很符合我们正常逻辑,不难理解。那统计学中的线性回归是如何解释的呢?
Python数据科学
2018/12/05
1.4K0
机器学习-线性回归
假设现在有一些数据点,我们利用一条直线对这些点进行拟合(该线称为最佳拟合直线),这个拟合过程就称作为回归,如下图所示:
py3study
2020/01/17
5330
LR模型详解_GARCH模型
,其中y 代表的是样本视为正样本的可能性,则 1-y 为视为负样本的可能性。
全栈程序员站长
2022/11/19
6470
LR模型详解_GARCH模型
一文详尽系列之逻辑回归
Logistic Regression 是一个非常经典的算法,其中也包含了非常多的细节,曾看到一句话:如果面试官问你熟悉哪个机器学习模型,可以说 SVM,但千万别说 LR,因为细节真的太多了。
Datawhale
2019/11/19
1.1K0
线性回归:这可能是机器学习中最简单的一个模型了
在《机器学习宝典》前 6 篇的内容主要都是聊一些关于机器学习中的一些基础常识、模型评估指标、模型评估方法以及数据泄露问题,从这一篇开始聊一些模型的原理的事情。这篇带来的是关于线性回归模型的原理介绍。
abs_zero
2019/05/17
8930
机器学习算法之线性回归的推导及应用
如果大家觉得有哪些可以优化的地方可以留言给我,我会慢慢完善的。再后面会陆续放送各个机器学习算法、深度学习模型及相关的实例实践,希望对大家有帮助。
崔庆才
2019/06/19
1.4K0
机器学习算法之线性回归的推导及应用
011.线性回归算法推导
版权声明:本文为博主原创文章,允许转载,请标明出处。 https://blog.csdn.net/qwdafedv/article/details/82866099
qubianzhong
2018/10/10
8390
011.线性回归算法推导
【NLP机器学习基础】从线性回归和Logistic回归开始
古语常云:“大道至简”,万事万物纷繁复杂,最终却归至几个最简单的道理。我常常在想,如今很火的AI领域是否也是如此。将AI真正学懂学会的过程就像一场遥不可及的漫长攀登,起始于晦涩难懂的数学领域(高数/线代/概率论),踉跄于公式满篇的机器学习,还要翻越神经网络、编程与数据科学库等重重大山,最终抵达应用的那个分岔路口,也从不是彼岸,只是新的开始。
用户1508658
2020/02/19
1K0
线性回归
Alex经过一年的努力,终于拿到了美国波士顿麻省理工学院的研究生录取通知书,在远离家乡的地方上学,Alex想在波士顿买一套房子,他手头有一些积蓄,在网上找了几套自己满意的房子,但是又不敢相信网上的价格,人生地不熟的,Alex怕被宰,就从自己做数据分析的朋友Bachelor手里要到了过去几年一些有关波士顿房价的资料。
AlexKing007
2020/02/14
1.2K0
线性回归
线性回归回顾与logistic回归 | 机器学习笔记
01 再看线性回归 之前我们选择线性回归的时候,只是认为那些数据看上去很符合线性的样子,选择最小平方损失函数的时候,也是直接提出来的,没有考虑过为什么会是这个样子。接下来就从概率的角度来解释这些问题。
用户1332428
2018/03/08
1.2K0
线性回归回顾与logistic回归 | 机器学习笔记
最小二乘法原理(中):似然函数求权重参数
在上一篇推送中我们讲述了机器学习入门算法最小二乘法的基本背景,线性模型假设,误差分布假设(必须满足高斯分布)然后引出似然函数能求参数(权重参数),接下来用似然函数的方法直接求出权重参数。 1 似然函数
double
2018/04/02
2K0
最小二乘法原理(中):似然函数求权重参数
数据挖掘从入门到放弃(一):线性回归和逻辑回归
“ 数据挖掘算法基于线性代数、概率论、信息论推导,深入进去还是很有意思的,能够理解数学家、统计学家、计算机学家的智慧,这个专栏从比较简单的常用算法入手,后续研究基于TensorFlow的高级算法,最好能够参与到人脸识别和NLP的实际项目中,做出来一定的效果。”
数据社
2020/05/25
7710
【机器学习】线性回归算法:原理、公式推导、损失函数、似然函数、梯度下降
        线性回归是通过一个或多个自变量与因变量之间进行建模的回归分析,其特点为一个或多个称为回归系数的模型参数的线性组合。如下图所示,样本点为历史数据,回归曲线要能最贴切的模拟样本点的趋势,将误差降到最小。
Twcat_tree
2023/11/17
5.1K0
【机器学习】线性回归算法:原理、公式推导、损失函数、似然函数、梯度下降
线性回归(一)-多元线性回归原理介绍
高中的数学必修三有一个概念——线性拟合,其主要原理是通过对两组变量的统计值模型化。高中的的模型主要是简单的一维线性模型,在某种程度上也可以叫做一次函数,即 y = kx + b 的形式。这是一个简单的线性拟合,可以处理两组变量的变化趋势呈现相当的线性规律的问题,且关于因变量只有一个自变量。实际情况下,对于一个目标函数进行估计,其影响因素可能会有多个,且各个因素对于结果的影响程度各不相同。若多个变量的的取值与目标函数取值仍呈现线性关系,则可以使用多元线性回归进行建模预测。本文将从一元线性回归推广到多元线性回归。并通过统计学的显著性检验和误差分析从原理上探究多元线性回归方法,以及该方法的性质和适用条件。
EatRice
2020/06/13
5.6K0
线性回归(一)-多元线性回归原理介绍
深入广义线性模型:分类和回归
【导读】本文来自AI科学家Semih Akbayrak的一篇博文,文章主要讨论了广义的线性模型,包括:监督学习中的分类和回归两类问题。虽然关于该类问题的介绍文章已经很多,但是本文详细介绍了几种回归和分
WZEARW
2018/04/13
1.9K0
深入广义线性模型:分类和回归
1.1 广告算法专题 -线性回归
基本关于计算广告的每个模块都开始进行了一些记录,今天这个是关于计算广告算法的第一篇,也是从最基础的回归开始,逐渐加深,渗入到广告算法的各个模块中去,形成只关于广告的算法集合。也欢迎大家一起关注交流!
Python编程爱好者
2020/09/08
8040
1.1 广告算法专题 -线性回归
机器学习基础——推导线性回归公式
在之前的文章当中,我们介绍过了简单的朴素贝叶斯分类模型,介绍过最小二乘法,所以这期文章我们顺水推舟,来讲讲线性回归模型。
TechFlow-承志
2020/03/05
8520
机器学习基础——推导线性回归公式
机器学习笔记(七)——初识逻辑回归、不同方法推导梯度公式
逻辑回归(Logistic)虽带有回归二字,但它却是一个经典的二分类算法,它适合处理一些二分类任务,例如疾病检测、垃圾邮件检测、用户点击率以及上文所涉及的正负情感分析等等。
奶糖猫
2020/07/15
7200
机器学习笔记(七)——初识逻辑回归、不同方法推导梯度公式
linear regression and logistic regression
通过工资和年龄预测额度,这样就可以做拟合来预测了。有两个特征,那么就要求有两个参数了,设置
西红柿炒鸡蛋
2018/09/11
7310
linear regression and logistic regression
推荐阅读
相关推荐
机器学习笔记之线性回归数学推导
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文