2回答
(i)对于凸损失函数(即碗形)，保证批梯度下降最终收敛到全局最优，而不保证随机梯度下降。(4)对于凸损失函数(即碗形)，既不保证随机
浏览 0提问于2020-08-13得票数 4
回答已采纳
1回答
我在ML领域没有太多的知识，但从我天真的观点来看，在训练中性点网络时，似乎总是使用梯度下降的一些变体。因此，我想知道为什么没有使用更高级的方法，例如SQP算法或内点方法。这是不是因为训练中性网总是一个简单的无约束优化问题，而上述方法是不必要的？任何洞察力都会很好，谢谢。
浏览 0提问于2018-02-22得票数 2
2回答
我通过在线资源(即coursera的机器学习)学习了梯度下降。然而，提供的信息只说重复梯度下降，直到它收敛。if (change_in_costfunction > precisionvalue) {}
或者，我想知道是否另一种确定收敛性的方法是观察系数接近它的真实值change_in_coeffic
浏览 10提问于2013-06-25得票数 10
回答已采纳
1回答
他还说，它可以同时完成，并给出了梯度下降算法： ? 我想问x和theta是否同时更新。例如，对于每次迭代:在对x执行单个梯度下降后，我是否使用新的x值重新计算平方误差和，然后对θ执行梯度下降，然后重复直到收敛。或者我在x上执行一次梯度下降，使用相同的平方误差和，对theta也执行梯度下降
浏览 37提问于2020-11-25得票数 0
据我所知，为了计算简单线性回归的权重和偏差，它遵循梯度下降算法，该算法致力于寻找成本函数(曲线)的全局最小值。该成本函数是通过随机选择一组权重，然后计算所有记录的平均误差来计算的。
浏览 5提问于2021-07-18得票数 0
1回答
梯度下降算法如下：(取自Andres课程)如果有超过2个θ参数(特征权重)，该算法应该如何实现？如果包括额外的θ值：重复直到收敛，换句话说，直到theta0，theta1，theta2不再改变？
浏览 1提问于2015-11-21得票数 1
回答已采纳
1回答
在机器学习的coursera课程中，它说梯度下降应该收敛。我们如何在现实世界中使用scikit-learn中的线性回归？或者为什么scikit-learn不在线性回归输出中提供梯度下降信息？
浏览 0提问于2015-12-26得票数 26
回答已采纳
对于凸优化，类似于logistic回归。因此，经过10次mini batch gradient decent更新。我可以通过一次gradient decent 更新获得相同的结果吗？我知道mini batch gradient decent有时可以避免局部最优。，但它们之间是否有固定的关系.
浏览 3提问于2014-10-16得票数 4
我用一些在线资源自学了机器学习，但我有一个关于梯度下降的问题，我无法弄清楚。如果我在每个训练示例之后执行梯度下降，那么我的系数将非常不同，如果我在所有10个训练示例之后执行梯度下降。求和项仅包括1个训练示例
继续，直到收敛或
浏览 8提问于2013-06-24得票数 7
回答已采纳
梯度下降的矢量化实现 J_history(2 * m) * (X * theta - y)' * (X * theta - y);theta = pinv(X' * X) * X' * y;
对于X和y的相同值，这两个实现收敛于正规方程给出了正确的答案，而梯度下降给出了错误的答案。
浏览 2提问于2017-06-03得票数 0
1回答
我正在尝试开发一个结构方程模型的算法(在梯度下降的框架下) problem.There是一个参数矩阵B(n*n)，它的所有对角元素都固定为zero.And。我的问题是，我们如何确保(I-B)在迭代中不是奇异的？在这个问题中，由于目标函数的区域不是整个R^n空间，似乎梯度下降收敛的严格条件将不是satisfied.Standard教科书将假设的目标是在整个R^n空间中有一个区域space.It似乎梯度下降不会有保证的收敛</em
浏览 30提问于2019-01-29得票数 1
1回答
我必须在第一个部件上进行训练迭代，然后在设备上释放它，然后将第二个部分发送到设备上，然后对其进行训练，等等……然后对梯度结果进行总结。
当我必须把所有的数据都推到PCIe总线上时，是不是太慢了？
浏览 2提问于2014-01-17得票数 1
在多元线性回归一节的课程机器学习中，Andrew提供了以下关于梯度下降的提示：将特性转换为大约-1 绘图成本与迭代若要确定收敛速度是否太慢(请尝试更大的alpha)
以确定要收敛的迭代次数。这些技巧适用于所有使用不同机器/深度学习算法的梯度下降问题，还是仅适用于多元线性回归？
浏览 0提问于2018-02-27得票数 2
回答已采纳
3回答
我试图发展随机梯度下降，但我不知道它是否是100%正确的。
Iteration #100 - Cost = 7.047196e-001 % Second ti
浏览 1提问于2014-01-25得票数 9
回答已采纳
与sigmoid激活函数相比，Relu在梯度下降优化中具有更好的收敛性能。据我所知，当Z接近小于0时，梯度下降的升升太慢，但当z小于0时，relu也有梯度0，那么差别是什么？
浏览 0提问于2021-08-16得票数 0
3回答
梯度下降收敛
、、
他在谈论和解释梯度下降，但我不能不注意到一些事情。以我的数学背景，我知道如果我试图找到函数的全局最小/最大值，我必须首先找到所有的临界点。这门课程讨论的是GD的收敛性，但它真的能保证收敛到全球最小值吗？我怎么知道它不会卡在马鞍上？做一次二阶导数测试不会更安全吗？如果我的函数是可微的，它似乎是合理的，它收敛到一个局部最小值，而不是全局最小值。我试图寻找一个更好的解释，但似乎每个人都认为这是理所当然的，毫无疑问。有人能给我指明正确的方向吗？
浏览 0提问于2019-03-26得票数 1
1回答
我对“收敛速度”一词的理解如下：因此，以收敛速度来衡量：有人能证实我的猜测是否属实，如果不解释它的意思呢？
浏览 0提问于2021-05-11得票数 0
回答已采纳
我有一个函数y=(x1)^2 + 2*(x2 )+(x3 )+ 3*(x4)^3，我必须预测它的值。因此，我在输入层有4个输入，在输出层有1个隐藏层和2个节点。如果[1 0]为正，则默认输出为[0 1]，如果y为负值，则为[0 1]。当我用200个例子训练我的数据时，我得到了94%的训练数据和86%的测试数据(隐藏层中的4个节点)。所以现在你能建议我怎样才能提高我的准确度达到98% -
浏览 6提问于2016-06-25得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
