梯度下降和正态方程不能给出相同的结果，为什么？
梯度下降和正态方程是两种不同的优化算法，用于求解线性回归模型的参数。它们的原理和计算方式不同，因此得到的结果也可能不同。
- 梯度下降： 梯度下降是一种迭代优化算法，通过不断调整模型参数来最小化损失函数。它的基本思想是沿着损失函数的负梯度方向进行迭代更新，直到达到收敛条件。梯度下降算法可以分为批量梯度下降（Batch Gradient Descent）、随机梯度下降（Stochastic Gradient Descent）和小批量梯度下降（Mini-batch Gradient Descent）三种。
梯度下降的优势：
- 适用于大规模数据集和高维特征空间。
- 可以找到全局最优解或接近最优解。
- 可以灵活调整学习率和迭代次数。
梯度下降的应用场景：
- 线性回归、逻辑回归等机器学习模型的参数优化。
- 深度学习模型中的参数优化。
推荐的腾讯云相关产品：
- 腾讯云机器学习平台（https://cloud.tencent.com/product/tiia）
- 腾讯云深度学习平台（https://cloud.tencent.com/product/tensorflow）
- 正态方程： 正态方程是一种解析解方法，通过求解线性方程组来直接计算出最优参数。对于线性回归模型，正态方程的表达式为：θ = (X^T * X)^(-1) * X^T * y，其中θ为参数向量，X为特征矩阵，y为标签向量。
正态方程的优势：
- 可以直接得到最优解，不需要迭代过程。
- 对于小规模数据集，计算速度较快。
正态方程的应用场景：
- 线性回归问题中，当数据集较小且特征维度不高时，可以使用正态方程求解最优参数。
推荐的腾讯云相关产品：
- 腾讯云人工智能开放平台（https://cloud.tencent.com/product/ai）
为什么梯度下降和正态方程不能给出相同的结果？ 梯度下降和正态方程得到的结果可能不同的原因有以下几点：
- 近似解 vs. 精确解：梯度下降是一种迭代优化算法，通过不断迭代逼近最优解，得到的是一个近似解；而正态方程是通过解析计算得到的精确解。
- 数据量和特征维度：梯度下降适用于大规模数据集和高维特征空间，而正态方程在数据集较小且特征维度不高时计算速度较快。
- 存在多个局部最优解：对于非凸优化问题，梯度下降可能会陷入局部最优解，而正态方程可以得到全局最优解或接近最优解。
- 数值稳定性：在计算过程中，梯度下降可能会受到数值稳定性的影响，导致结果不稳定；而正态方程的计算过程相对稳定。
综上所述，梯度下降和正态方程是两种不同的优化算法，它们的原理、计算方式和适用场景不同，因此得到的结果也可能不同。在实际应用中，可以根据数据集的规模和特征维度选择合适的优化算法。
相关·内容
我有一个使用梯度下降公式的任务的问题：
📷
使用two大小为0.1和initial值，对下面给出的函数执行梯度下降到局部最小的步骤
📷
我只得到导数0.4x1的结果，因为x2不存在。这是正确的，还是导数的结果应该是(0.4，0)？
注:对不起，如果我的导数方程是坏的。我不是数学家。如果我的方程式完全错了，请纠正我。
浏览 0提问于2020-07-19得票数 1
回答已采纳
我想知道什么时候使用线性回归随机或批量梯度下降，以最小化成本函数与什么时候使用正规方程？使用梯度下降的算法是迭代的，因此它们可能需要更长的时间来运行，而不是通常的方程解，后者是一个封闭的形式方程。但是它确实使用矩阵来存储训练数据。这是否意味着梯度解需要更多的处理能力，但使用正规方程方法需要更多的内存，因为矩阵？哪种方法在什么情况下是最优的？
浏览 0提问于2016-09-20得票数 4
回答已采纳
我正在编写一个简单的脚本，试图为我的假设找到值。我对其中一个使用梯度下降，第二个使用法方程。正常方程给出了正确的结果，但我的梯度下降不是。我不能用这么简单的例子来解释为什么不能工作。
嗨，我想知道为什么我的梯度下降与线性回归中的正常方程不匹配。我正在使用matlab来实现这两种方法。这是我尝试过的：
因此，我创建了一个虚拟训练集：
X= {1 2 3}，y= {2 3 4}
所以我的假设应该收敛到theta = {1 1}，所以我得到一个简单的
h(x) =1+ x；
下面是比较正态方程和梯度下降的测试代码：
clear;
disp("gradient descend");
X
浏览 22提问于2019-08-13得票数 1
回答已采纳
梯度下降的矢量化实现
for iter = 1:num_iters
theta = theta - (alpha / m) * X' * (X * theta - y);
J_history(iter) = computeCostMulti(X, y, theta);
end
computeCostMulti()的实现
function J = computeCostMulti(X, y, theta)
m = length(y);
J = 0;
J = 1 / (2 * m) * (X * theta - y)' * (X * theta - y);
正规
浏览 2提问于2017-06-03得票数 0
1回答
采用滑雪板进行分类是如何实现批处理梯度下降的？本文给出了随机GD的SGDClassifier (一次单实例)和线性/Logistic回归(采用正规方程)。
浏览 0提问于2019-04-06得票数 2
回答已采纳
2回答
我理解普通的最小二乘和梯度下降所做的事情，但我只是对它们之间的区别感到困惑。
我唯一能想到的区别是-
梯度下降是迭代的，而OLS则不是。
梯度下降是利用学习速率来达到最小值，而OLS则是用偏微分法求方程的极小值。
这两种方法在线性回归中都非常有用，但它们都给出了相同的结果:截距和系数的最佳可能值。
它们之间有什么区别，为什么有两种线性回归方法？
浏览 0提问于2022-04-14得票数 2
我是机器学习的新手，愿意学习和使用机器学习。只是我仍然不能理解在某些情况下使用正态方程与梯度下降相比的好处。我在Coursera上使用了Andrew Ng的课程，但是这个符号真的让我很难理解。
我想知道更多关于多项式回归的代价函数J(ō)的推导，以及他为什么使用向量x(i)转置的原因
浏览 7提问于2018-08-01得票数 1
我正在编写我从课程(MATLAB)中学到的关于线性回归的代码。有一个类似的帖子，我发现了，但我似乎不能理解一切。也许是因为我在机器学习方面的基础有些薄弱。
我面临的问题是，对于某些数据.梯度下降(GD)和封闭形式解(CFS)都给出了相同的假设线。但是，在一个特定的数据集上，结果是不同的。我读过一些关于，如果数据是奇异的，那么结果应该是一样的。然而，我不知道如何检查我的数据是否是单数。
我将尽我所能来说明：
1)首先，给出了语言中的MATLAB代码。对于给定的数据集，在GD和CFS都给出类似结果的情况下，一切都很好。
数据集
X Y
2.06587460000
浏览 7提问于2016-11-11得票数 2
回答已采纳
1回答
我的问题是，在Python中，梯度下降是否能给出比常规方程更好的近似？
对于损失函数，我写了
import numpy as np
def loss(w, X, y):
X = np.concatenate([np.ones(shape=(len(X),1)),X], axis = 1)
dif_y = y - X@w
lossValue = np.mean(dif_y**2)
return lossValue
梯度下降(grad_desc)和正态方程(solv)
def grad_desc(w,X,y, alpha = 0.01, maxiter = 100
浏览 0提问于2022-02-01得票数 0
回答已采纳
2回答
这的答案表明，使用这种矩阵运算可以训练线性函数和多项式函数的权重：
$w = (X^TX)^{-1}X^Ty$
因此，这些函数不需要梯度下降等算法。根据我的理解，线性回归模型的梯度下降为每个权重找到了完美的导数，因此成本函数是最小的。
在询问上面的梯度下降和方程之间的联系之前，让我们用更小的步骤将这个方程分开：
$X =$
$y=$
让我们把$X$向量转化为矩阵，增加1's列，用来训练偏置值：
开始{b矩阵}1和1\2和1\3和1\4和1\5和1\6和1\7和1\8和1\9和1\ 10和1\ 11和1\ 12和1\结束{b矩阵}
转置：$X^T$：\begin{bmatrix} 1&a
浏览 0提问于2018-03-25得票数 1
回答已采纳
2回答
我是做线性回归与多个特点。我决定用正规方程法求线性模型的系数。如果我们使用梯度下降的线性回归多变量，我们通常采取特征缩放，以加快梯度下降收敛。现在，我将使用正规方程公式：
我有两个矛盾的信息源。第一章指出法方程不需要特征标度.在另一种情况下，我可以看到，必须进行特性规范化。资料来源：
在这两篇文章的结尾，给出了关于正规方程中特征尺度的信息。
问题是，在进行正规方程分析之前，我们是否需要进行特征缩放？
浏览 2提问于2015-12-08得票数 1
回答已采纳
如果极大似然估计( MLE )不能给出Logistic回归中参数的适当闭型解，为什么这种方法会有如此多的讨论呢？为什么不坚持梯度下降来估计参数呢？
浏览 0提问于2022-05-04得票数 2
回答已采纳
我有47个样本的小数据集。我运行线性回归与两个功能。
在运行LinearRegression之后，我运行了Ridge (带有凹陷)。我希望它能快速收敛，并返回与计算出的正常方程完全相同的预测值。
但是每次我运行Ridge时，我都会得到一个不同的结果，接近LinearRegression提供的结果，但结果并不完全相同。不管我运行了多少次迭代。这是意料之中吗？为什么？在过去，我自己实现了规则的梯度下降，并且它很快地收敛在这个数据集中。
ols = sklearn.linear_model.LinearRegression()
model = ols.fit(x_train, y_train)
pr
浏览 0提问于2018-03-17得票数 1
回答已采纳
2回答
梯度下降方程还是正规方程？
、、、、
假设您有一个具有m=50个示例的数据集，每个示例都有n=15个特性。你想用多元线性回归来拟合参数θ与我们的数据。你应该选择梯度下降还是法向方程?为什么？
浏览 0提问于2019-09-17得票数 1
我一直在尝试用python实现Andrew Ng练习的解决方案，但我不确定为什么我不能让梯度下降正常工作。这是我用来做梯度下降的代码： def gradientDescent(x, y, theta, alpha, num_iter):
m=np.size(x,axis=0)
for i in range(num_iter):
hyp=np.dot(x,theta)
theta = theta - (alpha / m) * np.dot(x.T,(np.dot(X, theta) - y))
return theta
theta=gradient
浏览 16提问于2020-04-29得票数 1
首先，我检查了http://stats.stackexchange.com/questions/23128/solving-for-regression-parameters-in-closed-form-vs-gradient-descent，http://stackoverflow.com/questions/26804656/why-do-we-use-gradient-descent-in-linear-regression，https://stats.stackexchange.com/questions/212619/why-is-gradient-descent-required
浏览 0提问于2019-08-13得票数 4
回答已采纳
1回答
我正试图反向工程一个人为设计的对数方程的参数。以下是事实：
方程的类型为a=x*(y^b)
A和b已知，x和y未知，需要确定。
我有一个值表，给出b作为确切值，a作为舍入整数结果。例如，b可能是7，a可能是68，其中68是舍入到最近整数的值。表中的数值约为12-15个左右.
X将是一些人选择的数字，所以它是一个相对于+/- 0.05的整数。例如，x可能是53或52.75，但不会是51.1938434。
Y是一些正的有理数，如"1.093534“。
那么，考虑到a和b的值表以及上面的事实，我如何做一个估计来确定x和y最可能的值？
浏览 0提问于2021-02-20得票数 1
1回答
sklearn的线性回归模型使用闭合或法线方程来查找参数。然而，对于大数据集，梯度下降被认为是更有效的。有没有办法通过渐变下降来使用sklearn中的LinearRegression？
浏览 0提问于2021-03-29得票数 0
1回答
A2C连续于摆-V0的很好实现
当最后10或20的平均值高于-20时，代码段将停止执行，但结果如下：
episode: 706 score: [-13.13392661]
episode: 707 score: [-12.91221984]
episode: 708 score: [-50.38036647]
episode: 709 score: [-74.58410041]
episode: 710 score: [-138.1596521]
episode: 711 score: [-87.3867222]
episode: 712 score: [-63.2
浏览 0提问于2019-06-23得票数 1
回答已采纳
1回答
嗨，我是线性回归的新手。我想知道
机器学习线性回归中b/w梯度下降和均方误差的差异是什么？
和
机器学习在线性回归中何时使用梯度下降和均方误差？或者什么时候在线性回归中使用哪一种算法？
有人能解释一下吗？
浏览 0提问于2018-10-04得票数 1
根据我的理解，线性回归被用来预测一个基于输入的输出，它使用一个线性方程来最优地拟合一些输入数据。利用损失函数对输入数据选择最佳拟合线性方程。通过模拟y= mx +b中m和b的值，可以找到具有梯度下降的最优线性方程组。
我的问题是，梯度下降总是找到线性回归的全局最小损失吗？这个问题的一个扩展是，对前一个问题的答案不取决于所使用的损失函数吗？此外，当我们在m，b的图上使用梯度下降以及损失函数的值时，如果我们使用线性回归，该图是否总是凸的？
浏览 0提问于2021-10-04得票数 2
回答已采纳
2回答
在这的文章中，它说：
我们可以通过缩放来加速梯度下降。这是因为θ在小范围内下降很快，在大范围范围内缓慢下降，因此当变量非常不均匀时，会低效率地振荡到最优。
对于线性回归，从方程a_{n+1}=a_n-\alpha\nabla F(a_n)中，我不太清楚为什么大范围变量的收敛速度较慢，或者如何/为什么会发生振荡。
浏览 0提问于2019-07-14得票数 6
考虑一个简单的一维函数y = x^2，用梯度上升法求出最大值.
如果我们从x-axis的第3点开始：
\frac{\partial f}{\partial x} \biggr\rvert_{x=3} = 2x \biggr\rvert_{x=3} = 6
这意味着我们应该移动的方向是一个6。
梯度上升给出更新规则:x= old_x + learning_rate *梯度
我不明白为什么我们需要用learing_rate乘以gradient。为什么我们不能仅仅使用x = old_x + learning_rate * sign(gradient)。
因为如果我们朝着一个积极的方向迈出了
浏览 0提问于2021-01-16得票数 3
回答已采纳
从我的背景来看，我理解有一个学习速率(α)的目的是将梯度的大小(▽J)标准化，这样步长就可以适当地收敛到局部极小值。
由于α是任意的，所以我们必须找到最佳的超参数学习速率(α)。
也许，当我们将梯度归一化为一个单位向量时，我们不必对其进行超参数调整，在这个单位向量中，梯度的大小总是1。
传统的梯度下降：
w:=w −α▽J
我的梯度下降：
w:=w −▽J/||▽J||
再次，回到我的问题，我不明白为什么梯度下降的变体没有我的想法。将梯度归一化为单位向量
ps。我推测，当梯度的幅度极低时，我的梯度下降可能不能很好地工作，并且可能会发散到inf。
浏览 0提问于2022-07-05得票数 1
1回答
我目前正在上coursea的机器学习入门课程，我遇到了一些关于我必须实现的梯度下降算法的问题。
我将有两个数据点，我将尝试使用梯度下降来拟合通过这些数据点的直线：
X Y 23 406 98 432
其中直线的方程是y=?0 +?1*x，初始?0 = 0，?1 =0。
梯度下降算法基本上进行了多次迭代，试图优化?0和?1的值，以便成本函数定义为：
J(θ0，θ1)=(1 / 2m )*∑i=1-->m (hθ(x^(i))−y^(i))^2
是最小的。( h?(x)是回归直线方程y=?0 +?1*x )(我也不能上传超过两个链接。所以你可以在google上搜索“梯度下降成本函数”，goo
浏览 12提问于2017-07-13得票数 0
我找不到为什么我在采样后没有得到正确的相关结构。
我正在使用tmvtnorm包中的R中的rtmvnorm。对于此函数的部分，我使用了中提供的示例1。
sigma <- matrix(c(4,2,2,3), ncol=2)
x <- rtmvnorm(n=500, mean=c(1,2), sigma=sigma, upper=c(1,0))
当我使用上面的代码来查找cor(x)和cov2cor(sigma)时，我的结果看起来非常不同。
> cor(x)
# [,1] [,2]
#[1,] 1.0000000 0.2126776
#[2,] 0.21
浏览 6提问于2016-08-17得票数 1
回答已采纳
4回答
我正在研究机器学习问题，并希望使用线性回归作为学习算法。本文实现了两种不同的线性回归模型参数theta的求解方法:梯度(最陡)下降法和正规方程法。对于相同的数据，它们都应该给出大致相等的theta向量。然而，他们没有。
除了第一个元素外，这两个theta向量在所有元素上都非常相似。这是一个用来将所有1的向量相乘到数据中的方法。
下面是theta的样子(第一列是梯度下降的输出，法线方程的第二次输出)：
Grad desc Norm eq
-237.7752 -4.6736
-5.8471 -5.8467
9.9174 9.9178
2.1135 2.1134
-1.5001
浏览 1提问于2012-06-30得票数 6
回答已采纳
1回答
我试图将SVG元素插入到画布中。我想在画布中添加数学方程式的填充物。
您可以在上看到没有填充的第一个结果
现在，如果我取一个正的填充值，尺寸(宽度和长度)在增加。例如，在填充等于20px的情况下，我得到以下结果：。
最后，如果我取一个更大的值(padding: 60px)，则得到以下结果：
您可以注意到这3种情况中的每一种，我将"box-sizing: border-box;“改为"<canvas width="400px" height="400px" id="textbox"></canvas>”。
浏览 0提问于2016-12-21得票数 1
回答已采纳
1回答
请原谅我，因为我是新来的。我附了一张图表，试图为我对神经网络和反向传播的理解建模？通过在线课程和资源网站上的视频，我对神经网络是如何工作的形成了如下理解：
给出输入，通过概率分布将权重分配给它。
激活函数使用权值提供预测值。
成本或损失函数计算实际类与预测值之间的预测误差。
梯度下降等优化函数利用代价函数的结果将误差降到最小。
如果上面的内容是正确的，那么我很难理解梯度下降和反向传播之间的联系？
以下是我迄今所理解的一幅图片：
📷
浏览 0提问于2019-01-28得票数 23
回答已采纳
3回答
负重训练速度太慢
、、
我正在从头开始写我自己的CNN代码。虽然我得到了快速、收敛和令人满意的结果，但训练后的权重值变化很小(而成本/损失函数却以一种看似收敛的方式迅速下降)。初始权值:卷积核为非零单元矩阵，完全连通层权为0's，激活函数为乙状结肠。数据标度从0到1。为什么权重变化这么小？
浏览 0提问于2019-02-18得票数 2
我试着从朱莉娅的古瑟拉那里做Logistic回归，但不起作用。
用于计算梯度的Julia代码：
sigmoid(z) = 1 / (1 + e ^ -z)
hypotesis(theta, x) = sigmoid(scalar(theta' * x))
function gradient(theta, x, y)
(m, n) = size(x)
h = [hypotesis(theta, x[i,:]') for i in 1:m]
g = Array(Float64, n, 1)
for j in 1:n
g[j] =
浏览 3提问于2016-05-06得票数 5
回答已采纳
1回答
三角规则与误差的混淆
、、、、
我现在正在读米切尔的“机器学习”一书，他刚开始渐变下降。有一部分让我很困惑。
有一次，他给出了感知器在一组训练示例中的误差公式。
E(\vec{w})\equiv \frac12 \sum_{d \in D}(t_d-o_d)^2
O_d是\vec{W} \cdot \vec{X}的实际输出，其中\vec{X}是输入向量，\vec{W}是权重向量。
t_d是我们想要得到的目标输出。
所有D上的和意味着我们可以输入的每一个\vec{X}之和。
好吧，到目前为止，我能理解。
然而，他接着给出了这个例子：
📷
但那不是真的！这个误差方程不能给我们一个最小值！
根据他以前的规则，如果我们考虑单权向
浏览 0提问于2019-01-22得票数 1
回答已采纳
最简单的梯度下降算法是w'(i) = w(i)-r*dC/dw(i)，其中w(i)是旧的权值，w'(i)是新的权重，C是代价，r是学习速率。我知道这是一个图形化的理由。
一个权重是w‘=w- r*dC/dw。
其次，我们还有一个方程deltaC ~=和(dC/dw(I)* deltaw(i) )，它就是C的线性度的定义，它的导数在计算点附近。对于一种权重，这与deltaC/deltaw ~= dC/dw相同，例如导数的定义。
假设只有一个重量，让S= -deltaC。然后我们有-s = dC/dw * (w'-w)，其中我们将deltaw分割成原始的和扰动的值。然后w&
浏览 0提问于2019-02-14得票数 1
回答已采纳
1回答
我编写了这个可复制的代码来演示这个问题：
import numpy as np
import keras
import tensorflow as tf
n, d = 2, 3
A = np.random.random((n, d))
b = np.random.random((n, 1))
x = np.linalg.lstsq(A, b, rcond=None)[0]
print("Numpy MSE is {}".format((np.linalg.norm(A @ x - b) ** 2) / n))
model = keras.models.Sequential(
浏览 3提问于2021-01-29得票数 0
回答已采纳
1回答
用令人困惑的符号的伊根纸
、、、
我正在阅读一个研究纸试图解决一些问题与GAN，但对于其中一个方程式，论文没有充分解释它的来源和为什么它的工作。虽然EGAN的整体算法是直接的，但我希望更好地理解它。
本文采用一种进化的方法来解决不稳定和模式崩溃等问题。给出了一个评估不同发电机的适应度函数：
📷
其中f_d是：
📷
f_q是：
📷
我关注的是f_d = -log||delta_d - E_x[log(D(x))] - E_z[log(D(G(z)))]||.
在f_d中，delta_d代表什么。它没有在文件中定义，所以我想，也许它是非常典型的符号，所以我环顾四周，却找不到任何东西。我所知道的唯一的事情是从它在论文中所说的，以及作
浏览 0提问于2018-09-29得票数 1
2回答
渐变下降数学实现解释需要。
、、、、
我知道解决方案，但我不明白下面的方程式是如何被转换成代码的。
为什么那笔钱不见了？
为什么我们要转置((sigmoid(X * theta)-y)表达式？
解决方案
grad = (1/m) * ((sigmoid(X * theta)-y)' * X);
浏览 3提问于2016-11-11得票数 2
回答已采纳
1回答
我当时正在读，讨论对我来说很有意义:当所有权重初始化为零时，梯度下降无法判断错误来自何处，因此无法更新这些权重。
我不明白的是，为什么我不能从经验上看到这一点。我正在运行以下代码()：
w = tf.Variable(tf.zeros([2,1]))
b = tf.Variable(tf.zeros([1]))
x = tf.placeholder(tf.float32, shape=[1, 2])
y = tf.placeholder(tf.float32, shape=[1])
pred = tf.sigmoid(tf.matmul(x, w) + b)
loss = tf.redu
浏览 5提问于2016-12-02得票数 1
4回答
我希望复制一篇研究文章的结果。
我在一个点上，我必须找到以下方程(w)的最大值，以及相应的自变量值(k)。K是我唯一的变量。
from sympy import *
import numpy as np
import math
rho_l = 1352;
rho_g= 1.225;
sigma = 0.029;
nu = 0.02;
Q = rho_g/ rho_l;
u = 99.67;
h = 1.6e-5; # Half sheet thickness
k = Symbol('k', real=True)
t = tanh(k*h);
w1 = -2 * nu * k
浏览 0提问于2019-07-26得票数 2
我使用Q学习，我想知道我是否可以使用tf.losses.mean_squared_error损失计算函数，如果我有一个奖励函数，可以给负回报。
因为如果我有以下Q值作为我网络的输出：(0.1，0.2，1)，并且我计算出我的实际Q值应该是(0.1，-5，1)，如果我使用mean_squared_error函数，第二个q值的损失会变成正的，我错了吗？因为有平方运算，所以坡度下降会不会基于正确的损失？
浏览 0提问于2019-05-23得票数 2
回答已采纳
1回答
以下是我们如何使用Adagrad更新权重：
w_i = w_i - \frac{lr}{\sqrt{g_i+E}}
其中，w_i是i^{th}权重，lr是学习速率，g_i是i^{th}权重的梯度，而E是防止除以零的epsilon。
现在我们为什么要取g_i+E的平方根，我们就不能去掉这个根，然后再除以。
我知道移除根目录会带来不好的性能，但是为什么删除根会给出不好的性能呢？
浏览 0提问于2020-09-23得票数 1
回答已采纳
我一直在读以下的文章：https://arxiv.org/abs/1810.11363，https://arxiv.org/abs/1706.09516和https://www.researchgate.net/publication/318030603_格斗_偏倚_使用_动态_助推。如果我正确理解，CatBoost解决了点态梯度估计中的偏差问题：
预测模型F的建立依赖于所有训练实例的目标。我们证明，这实际上导致了训练示例x_k的x_k分布与测试示例x的F(x)|x分布发生了变化。这最终导致了学习模型的预测转变。
和
所有经典的boosting算法都会由于有偏的点态梯度估计问题而受到过拟合的
浏览 0提问于2022-08-04得票数 0
1回答
我试图实现一个简单的多元线性回归模型，而不使用任何内置的机器库。到目前为止，我已经能够得到一个关于2.93的训练的根均方误差，而来自正规(闭型)方程的模型能够产生一个~2.3的训练均方误差。我正在寻找方法，我可以改进我的梯度下降算法的实现。以下是我的执行情况：
我的梯度下降法如下所示：
\theta = \theta - [(\alpha/2N) * X (X\theta - Y)]
其中\theta为模型参数，N为训练元素数，X为输入，Y为目标元素。\alpha是步长。
def gradientDescent(self):
for i in range(self.iters):
浏览 0提问于2019-09-18得票数 2
我试图用Python进行一些小的数值实验，但我遇到了一些意想不到的行为。我编写了一个程序来在标准Python中找到最小的(正)浮点。下面是：
x = 1.0
while True :
y = x
x /= 2.0
if x == 0:
break
print(y)
如果我没有弄错，vanilla Python使用双精度浮点数，最小(正)数应该是2^(-1022) (或2^(-1023)或2^(-1024)，不太确定)。
然而，我的程序返回了一些非常不同的东西。它返回5e-324。
现在，如果我们想把2^(-1022)转化为5*10^(x)，我们必须解
浏览 2提问于2020-06-12得票数 0
回答已采纳
我试图理解为什么方程没有给出所期望的结果。
我无法解码这是如何返回90.96？即使使用方程log =m+ log ，我也不能得到相同的结果。利用log y除以∆log x，得到∆m。
const logScale = d3.scaleLog()
.domain([1, 1000])
.range([10, 100]);
console.log(logScale(500)); // returns 90.96
浏览 6提问于2022-02-11得票数 0
回答已采纳
2回答
坡度下降冲击蟒蛇-等高线
、、、、
作为一个自学练习，我试图从零开始在线性回归问题上实现梯度下降，并在等高线图上绘制结果迭代。
我的梯度下降实现给出了正确的结果(用Sklearn测试)，但是梯度下降图似乎不是垂直于等高线的。这是预期的，还是我的代码/理解出现了问题？
算法
成本函数与梯度下降
import numpy as np
import pandas as pd
from matplotlib import pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
def costfunction(X,y,theta):
m = np.size(y)
浏览 1提问于2018-06-06得票数 8
回答已采纳
1回答
目标
为寻求帮助，建议为什么下面的渐变下降实现不能工作。
背景
完成以下任务，实现逻辑回归。
📷
梯度下降
导出梯度下降，如图中所示。
Typo fixed as in the red in the picture.交叉熵对数损失为- \left [ylog(z) + (1-y)log(1-z) \right ]
📷
实现代码，但是它说是不正确的。
import numpy as np
def LogitRegression(arr):
# code goes here
x = arr[0]
y = arr[1]
a = arr[2]
b = arr[3]
浏览 0提问于2021-12-07得票数 3
7回答
我希望最大化一个函数有一个参数。
所以我运行梯度下降(或者，实际上是上升)：我从一个初始参数开始，继续添加梯度(乘以一些学习速率因子，它变得越来越小)，重新评估给定新参数的梯度，等等，直到收敛为止。
但是有一个问题:我的参数必须保持为正的，所以它不应该变成<= 0，因为我的函数将是未定义的。我的梯度搜索有时会进入这样的区域(当它是正的时候，梯度告诉它再低一点，它就会超调)。
更糟糕的是，在这种情况下的梯度可能是负的，从而推动了对更负参数值的搜索。(原因是目标函数包含日志，但梯度不包含。)
有什么好的(简单的)算法来处理这个受限的优化问题？我希望我的算法能得到一个简单的修正。或者忽略梯度，
浏览 2提问于2010-06-29得票数 9
1回答
当我阅读和复习吴家富深造课程的第二节课时，我偶然发现一句话：
随着一个良好的小批大小，它通常优于梯度下降或随机梯度下降(特别是当训练集是大的)。
但这怎么可能？小批处理梯度下降真的能给我们一组更好的权重和偏差，即使它没有根据整个数据集更新它们吗？我只能认为，这可能不是过分适合，这样，它可以提供更好的结果。
浏览 0提问于2020-07-30得票数 1
我试图在MATLAB中实现一个logistic回归求解器，并通过随机梯度下降来求权值。我遇到了一个问题，我的数据似乎产生了无限的成本，无论发生什么，它永远不会下降…这两种情况看起来都很好，我无法想象为什么我的成本函数总是会无限地返回。
在中，第一列是类(1或0)，接下来的七列是我试图返回的特性。
浏览 2提问于2014-10-17得票数 0
回答已采纳
我正致力于实现一个名为DIRTREL的轨迹优化算法，它本质上是直接转录，并增加了成本函数。然而，成本函数包含了通过线性化决策变量(x，u)和离散时变LQR得到的K矩阵。我的问题是，如何最有效、最简洁地用drake来表达这一点，因为我目前的方法象征性地描述了这个系统，并且由于Riccati差分方程的递归性质，导致了极长的符号方程(这只会随着时间的增加而增加)，以及这种符号方法是否合适。
欲知更多详情：
将我的系统指定为LeafSystem
声明具有决策变量x，u的MathematicalProgram
若要获得时变线性化动力学，请指定一个类，该类在单个时间步长上接受动力学和决策变量，
浏览 6提问于2020-07-12得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
