如何利用导数和梯度下降求x的最小化函数值

文章/答案/技术大牛

发布

1回答

python、r、machine-learning、logistic-regression

给定函数f(x) = x^2 + 6x，如何在R或Python中使用导数和梯度下降来找到最小化此函数的x的值？

浏览 11提问于2021-02-03得票数 0

1回答

多元线性回归的梯度下降

linear-regression、gradient-descent

我知道的：( ii)现在，∑{ hThetax(i) - y(i) }：指具有给定的Theta值的总错误。误差是指预测值{ hThetax(i) }与实际值之间的差异。y(i)结尾的Xj^(i)代表什么？我们在实现多元线性回归梯度下降时是否做了以下工作？

浏览 4提问于2017-02-02得票数 2

回答已采纳

1回答

C++传递函数为函子

c++、functor

我对函子的使用有问题。下面显示了一个函子，它接受任何函数并返回其函数值和导数。Funcd { double f; double operator() (double &x){ } void df(double &x, d

浏览 0提问于2016-06-13得票数 1

回答已采纳

1回答

验证我对Logistic回归中MLE &梯度下降的理解

logistic-regression、gradient-descent、parameter-estimation

以下是我对Logistic回归中MLE与梯度下降之间关系的理解。如果我错了，请纠正我：2) MLE是解析/精确的<

浏览 0提问于2022-05-09得票数 -4

1回答

全变差去噪中TV范数的梯度

image、optimization、gradient、variation

在链接中：，它说梯度如下在另一个链接中，还提到导数如下所示我知道如何计算散度，但我不明白总变差的梯度与散度有什么关系。

浏览 5提问于2016-06-27得票数 0

1回答

我想用梯度下降法求任意离散函数的极小点。

optimization、gradient

我想用梯度下降法求任何离散函数的极小点，但我不知道如何计算函数对某一特定点的导数。16 25 36 49 64 81 100]对于梯度下降算法x_next = x_now - alfa * derivative(x_now) 但

浏览 0提问于2015-11-18得票数 2

2回答

负靶tf.losses.mean_squared_error

tensorflow、neural-network、reinforcement-learning、loss-function、q-learning

因为如果我有以下Q值作为我网络的输出：(0.1，0.2，1)，并且我计算出我的实际Q值应该是(0.1，-5，1)，如果我使用mean_squared_error函数，第二个q值的损失会变成正的，我错了吗因为有平方运算，所以坡度下降会不会基于正确的损失？

浏览 0提问于2019-05-23得票数 2

回答已采纳

3回答

什么是反向传播？

backpropagation

我有一个概念上的问题，因为术语困扰着我。反向传播算法是一种神经网络训练算法，还是仅仅是一种递归算法来计算神经网络的雅可比？那么这个Jacobian将作为主要训练算法的一部分，例如最陡峭的下降？因此，计算雅可比矩阵(神经网络输出到网络参数的偏导数)是一种训练算法还是一种数值方法？

浏览 0提问于2021-09-08得票数 4

回答已采纳

1回答

什么是Hessian矩阵？

calculus、hessian-matrix

我知道Hessian矩阵是涉及多个自变量的函数的二阶导数检验。如何找到涉及多个变量的函数的最大值或最小值？它是利用Hessian矩阵的特征值还是它的主次元发现的？

浏览 6提问于2020-01-26得票数 0

回答已采纳

1回答

线性回归学习的自设计目标

regression、linear-regression

多元线性回归是使用多个预测变量来预测响应变量的结果，如下所示：我理解学习$\beta$参数的典型目标是最小二乘，这意味着最小化$\epsilon_{i}$的平方和。现在我想要其他类型的目标，例如最大化$\epsilon$序列(或其他自指定目标)的Shannon熵。我谷歌了一下这个方向，但没有运气。我想知

浏览 0提问于2015-06-28得票数 1

3回答

节点梯度在神经网络中代表什么？

neural-network

(代码是一团糟，我只是在乱搞)用这个简单的3层神经网络来处理：我的计算结果和这本书差不多(把差异归因于四舍五入)：h1 delta-> o1: 0.04518482993361776但是梯度到底是什么呢它们是单个节点对o1错误的贡献吗？

浏览 4提问于2014-07-15得票数 6

回答已采纳

1回答

使用gsl multimin在同一范围内计算f和df/dx

c、multidimensional-array、gsl、minimization

gsl库算法如下：您必须提供n个变量的参数函数，以便使最小化器在其上运行。您还可能需要提供一个计算函数梯度的例程，以及一个同时计算函数值和梯度的第三个例程。有几种情况下，一旦计算了函数值，它的导数可能更容易计算，例如:让f(x,y) = exp(x * g(y))，其中g(y)可能计算成本很高，那么简单地使用g(y) = log(f)/x</

浏览 3提问于2014-02-17得票数 1

回答已采纳

2回答

关于反传播和sigmoid函数

neural-network

我一直在读这本关于安：的电子书目标输出产出(1-产出)ErrorB=OutputB(1-OutputB)(TargetB-OutputB) 我的意思是，为什么我要添加O的一部分(1-O)，我尝试了不同的价值观，但我真的不明白为什么它应该是那样的。

浏览 0提问于2015-01-30得票数 0

回答已采纳

5回答

梯度下降和牛顿梯度下降的区别是什么？

machine-learning、data-mining、mathematical-optimization、gradient-descent、newtons-method

我知道梯度下降是做什么的。基本上，它试图通过缓慢向下移动曲线来朝着局部最优解移动。我想知道平面梯度下降法和牛顿法的实际区别是什么？从维基百科上，我读到了这样一句简短的话：“牛顿的方法使用曲率信息来选择更直接的路线。”直观地说，这意味着什么？

浏览 3提问于2012-08-22得票数 68

回答已采纳

1回答

神经网络:反向传播阶段一步一步的崩溃？

neural-network、backpropagation

我必须设计一个功能强大的神经网络的动画视觉表示(即使用UI，允许您调整值等)。它的主要目的是帮助人们想象不同的数学操作是如何和何时在慢动作、实时动画中执行的。我的可视化工具和UI一起设置，它允许你调整值和改变神经元的布局，以及前馈阶段的可视化，但是由于我实际上根本不擅长神经网络，所以我很难找到最佳的方法来可视化反向传播阶段--主要是因为我在这一阶段找出了精确<em

浏览 0提问于2021-01-27得票数 2

回答已采纳

2回答

渐变下降数学实现解释需要。

math、machine-learning、linear-algebra、linear-regression、logistic-regression

我知道解决方案，但我不明白下面的方程式是如何被转换成代码的。 grad = (1/m) * ((sigmoid(X * theta)-y)' * X);

浏览 3提问于2016-11-11得票数 2

回答已采纳

1回答

多项式回归--两种算法的结果精度

algorithm、machine-learning、regression

我知道，我可以找到一个多项式回归系数做(X'X)^-1 * X'y (其中X'是转置，详见 )。我想知道的是这些方法中的一种相对于另一种

浏览 4提问于2014-01-20得票数 0

回答已采纳

1回答

创建神经网络

python、python-3.x、neural-network、backpropagation

我在python中创建了一个非常简单的神经网络。不过，我所要求的并不是任何特定的代码，而是它是如何工作的一般概念。我了解输入，权值等，一切在前向传播。我不明白的是反向传播。它将输出与所需的输出进行比较，并计算错误(差异)，但它如何更改所有权重以使其正确？特别是你怎么能改变不同的重量(不是都一样)？其次，当你改变权重，你如何使它工作在多个输入，而不仅仅是一个或另一个输入？最后，偏见是做什么的，你<e

浏览 4提问于2017-04-21得票数 1

回答已采纳

2回答

我可以实现任意凸损失函数的梯度下降吗？

numpy、mathematical-optimization

我有一个损失函数，我想试着最小化：梯度下降或类似的方法可能会很有用我不能解析地计算这个函数的梯度</em

浏览 20提问于2017-03-04得票数 1

2回答

反向传播如何与反向自动分化相同(或不相同)？

algorithm、neural-network、backpropagation、calculus、automatic-differentiation

有这样的主张：更新：，自从写这篇文章以来，我发现这在“深度学习”6.5.9节中有介绍。见。我还发现，这篇论文对Haber和Ruthotto的“深度神经网络<em

浏览 4提问于2014-05-06得票数 14

回答已采纳

点击加载更多