在训练深度和浅层神经网络时，为什么常用梯度下降法(如梯度下降法、Nesterov法、牛顿-拉夫森法)，而不是其他元启发式方法？
元启发式是指为避免陷入局部极小而发展起来的模拟退火、蚁群优化等方法。
浏览 0提问于2016-04-15得票数 3
1回答
牛顿法在神经网络中的应用
、、、
我编写了一个神经网络，在python中进行二进制分类，在反向传播过程中，我使用Newton-Raphson方法进行优化。为了更好地理解牛顿-拉夫森方法，维基百科的这些文章已经足够好了：https://en.wikipedia.org
浏览 0提问于2020-07-02得票数 6
在简单梯度下降法的情况下，我们只计算一阶导数；在牛顿法中，我们计算二阶导数和恒心导数，并应用于向量。此外，牛顿/s方法中向量的更新可能并不总是沿(-ive)梯度方向进行。此外，对于给定的函数f(x)，这两种方法都试图寻找满足f'(x) = 0的最小值；在梯度下降法中，目标是argmin f(x)，而在牛顿法中，目标是f‘(X)=0。另一个区别是停止准则，在梯度下降法中，f'(x) = 0，而在牛顿法中，它是f(x)=0。
基于上述论点，是否
浏览 7提问于2020-01-18得票数 0
回答已采纳
1回答
我写了一个代码，用牛顿法(雅可比N+1 * N+1)求解高维(i=0，N)中的一个二阶非线性方程组，有两个边界条件。根据此消息来源：
“一种改进的求根方案是结合二分法和牛顿-拉夫森方法。二分法保证根(或奇点)，并用于在线性假设较差时限制牛顿-拉夫森方法估计的位置变化。但是，牛顿-拉夫森步骤是在近线性区域采取的，以加快收敛速度。”换句话
浏览 1提问于2013-05-12得票数 1
我知道Python在scipy.optimize.minimize中有以下求解器PowellBFGSL-BFGS-BCOBYLAtrust-constrtrust-ncgtrust-krylov
浏览 1提问于2018-08-17得票数 1
回答已采纳
Python scipy.optimize.minimize函数支持以下方法：
SLSQP
浏览 0提问于2018-08-09得票数 2
回答已采纳
1回答
牛顿函数应该使用以下牛顿-拉夫森算法： x = x - f(x) / fprime(x)
其中fprime(x)是一阶导数(df(x)/dx)在x位置的近似
浏览 3提问于2013-11-18得票数 0
1回答
Phong反射模型参数
、、、、
有一个成本函数需要用牛顿法进行优化。我需要给出牛顿法的初值。
我正在用牛顿法估计上述参数。图像是人的脸，摄像机是网络摄像头.
浏览 2提问于2013-02-05得票数 3
1回答
SciPy牛顿法
、、
我需要找到一个非常复杂的方程的根，我已经读过python有一组函数可以帮助我。我试图弄清楚它们是如何工作的，但我失败得很严重。我看到的例子都很简单，相反，我需要找到这个函数的根源：用B和K实正数。有人能帮忙吗？
浏览 2提问于2016-12-20得票数 0
回答已采纳
1回答
牛顿寻根法
、、、
我正在尝试实现newton的方法，以便在Python中找到根。
代码：import numpy as np
return 1 - (((2 * 1.5) * np.sin(theta))/ 2.7)
dx = 1E-8 return 1 - (f(x_n) / der
浏览 1提问于2019-02-03得票数 0
回答已采纳
2回答
我已经得到了这个代码来解决牛顿的方法，对于给定的多项式和初始猜测值。我想把牛顿的方法变成一个迭代过程。程序应该保持运行，直到输出值"x_n“变得恒定。x_n的最终值是实际的根。
浏览 0提问于2011-08-10得票数 1
回答已采纳
1回答
我有一个问题，牛顿(切线)方法在Matlab中。是否有可能对用户引入的第一次近似进行这样一种测试，以防止牛顿法阻塞(这意味着在所选的第一次近似的向向度中没有局部极小点)？
浏览 5提问于2015-05-09得票数 1
回答已采纳
我正在尝试对glibc的函数的软件实现有一个很好的理解。代码没有很好的文档化。
浏览 1提问于2017-05-02得票数 0
2回答
牛顿收敛法
、、
我试图用牛顿-拉夫森方法逼近多项式的根.我编写的代码如下所示：#include <math.h>
double c, nq, nnq我知道牛顿-拉夫森肯定会收敛，所以错误应该在代码上。我还尝试使用printf来本地化问题，我认为问题出现在第二次迭代中。我认为程序无法正确计算nq，但我不知道为什么。
浏览 0提问于2018-05-14得票数 1
回答已采纳
我在一篇文章中读到，像DFP和BFGS这样的准牛顿法在处理病态问题时表现不佳，但我不明白其中的原因。我一直在尝试使用这些方法来处理一个病态的二次问题，它不会在p+1迭代中收敛(这是二次问题的拟牛顿方法的特性之一)，但还有一点。为什么会这样呢？谢谢你的帮助。
浏览 7提问于2018-11-25得票数 1
2回答
对于深度神经网络(DNN)的训练，Hessian-Free (HF)优化技术与梯度下降(例如随机梯度下降(SGD)、间歇梯度下降(SGD)、自适应梯度下降)比较如何？
浏览 3提问于2015-07-22得票数 2
回答已采纳
对于一个学校项目，我需要评估一个不同学习率的神经网络。我选择了sklearn来实现神经网络(使用MLPRegressor类)。该项目要求测试不同学习率的神经网络。但是，根据文档，lbfgs解决程序是不可能的：
learning_rate_init双倍，default=0.001初始学习率使用。它在更新权重时控制步长。
浏览 4提问于2020-03-28得票数 1
回答已采纳
3回答
我尝试过各种经典方法(二分法、牛顿法等)。 二阶导数是连续的，但不能解析，所以我必须排除使用它们的方法。对于我的应用来说，牛顿方法是唯一一种提供足够速度的方法，但如果我不够接近实际的零，它就会相对不稳定。下面是一个简单的屏幕截图： ? 零点在0.05左右。在这种情况下，有没有更稳定的方法，最终可以提供与牛顿相当的速度？ 我也想过把函数变换成一个等价的更好的函数，用同样的零点，然后再应用牛顿，但我真的不知道我能做哪些变换。 任何帮助都将不胜感激。
浏览 27提问于2021-01-14得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
