将优化器从Adam更改为Nesterov时性能较差
将优化器从Adam更改为Nesterov时，性能较差可能是由于以下原因：
- Adam优化器的优势：Adam是一种基于梯度的优化算法，结合了Adagrad和RMSprop的优点。它具有自适应学习率和动量的特性，能够在训练过程中自动调整学习率，并且能够处理稀疏梯度和非平稳目标函数。Adam在很多情况下表现良好，尤其适用于大规模数据和复杂模型的训练。
- Nesterov优化器的特点：Nesterov是一种基于动量的优化算法，它在计算梯度时引入了动量项，可以加速收敛速度并减少震荡。Nesterov算法通过预测下一步的梯度方向来更新参数，从而更好地适应目标函数的形状。它在一些情况下可能比Adam表现更好。
- 性能较差的可能原因：将优化器从Adam更改为Nesterov时，性能较差可能是因为Nesterov算法对于特定的数据集和模型结构可能不太适用。不同的优化算法适用于不同的问题和数据集，没有一种优化算法适用于所有情况。因此，在选择优化器时，需要根据具体情况进行实验和调整。
- 解决方法：如果将优化器从Adam更改为Nesterov后性能较差，可以尝试以下方法来改善性能：
- 调整学习率：尝试不同的学习率设置，可能需要增大或减小学习率来适应Nesterov算法的特性。
- 调整动量参数：Nesterov算法的性能可能受到动量参数的影响，尝试不同的动量参数值来找到最佳设置。
- 调整模型结构：有时候，模型结构的改变可以对优化算法的性能产生影响。尝试调整模型结构，例如增加或减少隐藏层的数量和大小，看看是否能够改善性能。
- 尝试其他优化算法：如果Nesterov算法仍然表现较差，可以尝试其他优化算法，如SGD、Adagrad、RMSprop等，找到最适合当前问题的优化器。
腾讯云相关产品和产品介绍链接地址： 腾讯云提供了多种云计算相关产品，包括云服务器、云数据库、云存储、人工智能等。具体产品介绍和链接地址如下：
- 云服务器（CVM）：提供弹性计算能力，支持多种操作系统和应用场景。了解更多：https://cloud.tencent.com/product/cvm
- 云数据库（CDB）：提供高性能、可扩展的数据库服务，包括关系型数据库和NoSQL数据库。了解更多：https://cloud.tencent.com/product/cdb
- 云存储（COS）：提供安全可靠的对象存储服务，适用于存储和管理各种类型的数据。了解更多：https://cloud.tencent.com/product/cos
- 人工智能（AI）：提供丰富的人工智能服务，包括图像识别、语音识别、自然语言处理等。了解更多：https://cloud.tencent.com/product/ai
请注意，以上链接仅供参考，具体产品选择应根据实际需求和情况进行评估和决策。
相关·内容
优化器初始设置为： self.optimizer = torch.optim.Adam(params=self.net.parameters(), lr=lr) 然后我将其更改为Nesterov以提高性能，如下所示： self.optimizer = torch.optim.SGD(params=self.net.parameters(), lr=lr, momentum=0.9, nesterov=True) 然而，使用Nesterov的性能
浏览 45提问于2021-08-30得票数 0
我无意中发现了这个实现：https://gist.github.com/calclavia/cfcd41ad4e47d7b9b6ab8af15410747a --它使用了Nesterov优化器。然而，如果我将优化器从Adam改为随机梯度下降(SGD)，它永远不会收敛，而且似乎是随机的。为什么会这样呢？政策梯度方法是否使SGD成为一个糟糕的选择？
浏览 0提问于2018-09-17得票数 3
1回答
我试图为一个特定的问题优化一个神经网络的结构，但似乎有太多的超参数，我担心有更好的选择，我没有去探索(例如，我可能被困在一个局部极小值中)。激活函数和损失函数
非常感谢!
浏览 0提问于2017-06-16得票数 1
我一直在尝试将预训练的RGB的第一个卷积层从3个通道更改为4个通道，同时保持其原始PyTorch通道的预训练权重。我已经完成了以下代码，但是优化器部分抛出了这个错误："ValueError: can't optimize a non-leaf Tensor"。), 0.001,
weight_decay=0.1) # Changing this optimizer from SGD to ADAM</
浏览 188提问于2021-01-20得票数 1
回答已采纳
1回答
模型与SGD学习，而不是Adam
、、、、
我正在浏览一个基本的PyTorch MNIST示例，并注意到当我将优化器从SGD更改为Adam时，模型没有收敛。具体来说，我把第106行从至我以为这对模特没有任何影响。我
浏览 0提问于2019-04-20得票数 2
1回答
我使用PyTorch与一组培训的电影评论，每一个标记为正或负。每一篇评论都被删减或填充为60个字，我的批次大小为32。此60x32张量被馈送到嵌入层，嵌入dim为100，从而产生60x32x100张量。然后，我使用每个评论的未填充长度来打包嵌入输出，并将其通过hidden dim = 256传递给一个hidden dim = 256层。class RNN(nn.Module):
def __init__
浏览 0提问于2019-10-16得票数 0
1回答
我注意到我使用tensorflow.keras.Sequential()创建了一个模型，保存后文件大小约为5 MiB，但在我调用model.fit(..)后，文件大小增加到17 MiB。我复制了模型以减小文件大小，并看到精度是相同的。在这里查看我的实验代码：
浏览 48提问于2019-07-16得票数 2
回答已采纳
我正在对10,000张图像进行训练，并注意到将优化器从opt = SGD()切换到opt = 'adam'会导致精确性的大幅度降低，从而使所有其他参数相等。
浏览 4提问于2017-08-12得票数 2
2回答
因此，从我通过阅读可以看出，detectron2中使用的默认优化器是带有动量的SGD。但是，我想知道是否有一种方法可以将默认的优化器更改为类似于Adam的东西。我甚至查看了他们的，看看是否有不同的优化器选项可用。任何帮助都将不胜感激！
浏览 29提问于2022-07-24得票数 1
1回答
framework/op_kernel.cc:1502] OP_REQUIRES failed at
save_restore_v2_ops.cc:184 : Not found: Key Variable/Adam
浏览 53提问于2020-10-15得票数 0
1回答
为了设计一种基于神经网络的f(x) = sin(x)预测器，设计了以下网络。损失的选择为L2，优化器为标准梯度下降。预测器用X_train = numpy.arange(0.0, 314.1, 0.1)和Y_train = numpy.sin(X_train)训练。它随后在X_test= numpy.arange(-10.0, 10.0, 0.001)和Y_test = numpy.sin(X_test)上进行了测试，但是预测器对测试数据的性能很差。添加更多数据，特别是当X<0时
浏览 0提问于2018-02-22得票数 1
3回答
实现并不像它应该的那样隐藏，代码的可读性较差，如果类的头文件包含在许多不同的位置，也会增加编译器的负担。
我的猜测是，人们打算将这些函数内联到其他模块中，这可以显著提高性能。然而，我听说较新的编译器可以跨模块在链接时进行内联(和其他过程间的优化)。对这种链接时间优化的支持有多广泛，它真的让这种定义变得不必要了吗？对于这些定义，还有其他好的理由吗？
浏览 3提问于2008-11-05得票数 10
回答已采纳
这里的问题是，当我尝试在tensorflow中重写时，成本函数仍然很高并且波动很大。这让我困扰了两个星期，即使我调试了所有的东西，我仍然不知道我哪里错了。
浏览 0提问于2018-09-18得票数 1
例如，尾部调用优化将内存需求从O(n)更改为O(l)，对吗？
我确切的担心是:在Haskell上下文中，当对程序的性能和大小进行推理时，应该如何理解编译器优化？在Scheme中，您可以认为某些优化是理所当然的，比如TCO，因为您使用的是符合规范的解释器/编译器。
浏览 1提问于2011-10-03得票数 10
回答已采纳
我们有一个由使用SQL Server2008的多个实例组成的web场托管的ASP.NET web应用程序，在该应用程序中，我们将来自多个源的数据聚合和预处理为优化的格式，以实现快速的最终用户查询性能(在某些表中产生聚合和优化是由后端服务器上的服务完成的，然后我们希望将其分发到web应用程序实例使用的多个只读前端副本，以促进最大的可扩展性。我的问题是，将这些数据从后端数据库发送到只读前端副本的最佳方法是，在此过程中不会影响它们的性能。前端web应用程序实例将</e
浏览 2提问于2009-06-18得票数 4
回答已采纳
self.action_size, activation='linear'))
optimizer=K.optimizers.Adam
浏览 0提问于2019-10-24得票数 1
1回答
我最近完成了一个“相当好的”TF2/keras模型，用于图像识别，使用了许多层，SGD优化，并从MobileNetv2预训练模型开始。我可以永远调整:添加/删除层，不同的优化算法，学习率，动量，各种数据集增强，等等。我甚至没有考虑从其他预训练模型开始。我将优化器从SGD改为ADAM (应该更好，对吧？)而且它稍微更不准确。训练我的模型需要大约45分钟(10个时期)，当我调整这么多变量时，这似乎是永
浏览 1提问于2019-10-26得票数 0
我正在用TensorFlow在NVIDIA GEFORCE GTX1080Ti上训练神经网络。我的CPU有32 GB的内存。该网络只有一个隐藏层，其权重分别为16788,10000和10000,1478。小批量大小= 256。 loss_sum = 0 batch_x1 = tf.one_hot(mini_batches_x1_train[mini_count], self.v
浏览 2提问于2019-02-15得票数 0
v[i] }在我将i的类型从size_t改为uint32_t之后，代码的运行时间减少了10%以上。调用此函数时，其输入类型始终为size_t。代码是使用Clang以64位编译的。该函数由编译器在更复杂的上下文中的多个位置内联，因此很难比较汇编代码。首先，当uint32_t被用作向量索引时，Clang似乎不能很好地优化代码。更改为uint32_t，将会生成大
浏览 6提问于2021-03-10得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
