随着PyTorch的C++ API1.5稳定版本的发布，一些对象接口发生了一些变化。例如，现在 optimizer.options.learning_rate(); 不能工作(这里使用的优化器是Adam)，因为learning_rate已经改为lr (参见https://github.com/pytorch/pytorch/releases)，但是优化器不再有选项(n
浏览 51提问于2020-06-17得票数 0
回答已采纳
我正在尝试在没有太多外部帮助的情况下编写线性回归程序，我已经在一定程度上成功地完成了这项工作，因为我的MSE通常返回一个很小的数字，并且输出的最佳拟合结果看起来是正确的。我只是有一个关于下面最后一行代码的问题。优化器是否也改变了偏差，如果是的话，是通过学习率改变的吗？
浏览 17提问于2019-01-30得票数 0
回答已采纳
当你增加更多的层和更多的神经元时，你的学习率会下降，这是正确的吗？
所以，一般来说，网络越大，学习速度就越小？
浏览 0提问于2021-04-28得票数 1
1回答
LSTM训练模式
、、、、
我是NNs的新手，我正在用LSTM做我自己的"Hello World“，而不是复制一些东西。我选择了一个简单的逻辑，如下：_X0=[1,5,9] _Y0=[1] _X1=[0,5,9] _Y1=[0] ... 200 more records like this.这个简单的(？)可以训练逻辑以达到100%的准确率。我运行了许多测试，我
浏览 7提问于2017-04-17得票数 4
我正在评估keras和tensorflow联合模型的性能以解决回归问题。性能基本上是两者的MSE。唯一的区别是: 1.拆分数据集的方式。worksheetSNN.write(row,col,val)当前的结果是(Local_Loss用于keras模型，FL_Loss_arr:是每个客户端的损失，Fed_eval_arr:是聚合模式
浏览 2提问于2019-06-09得票数 1
2回答
咖啡因的损失不会减少
、、、
我是caffe的新用户，我基本上对模型做了一些小的修改，以根据我自己的数据进行训练。我注意到，在680次迭代之后，损失并没有改变。我想这可能是因为我在像素上应用了1/255的比例，但我已经删除了它，没有任何变化。我的数据在LMDB中(1lmdb用于训练图像，1lmdb用于训练标签，1用于验证，1用于验证标签)，标签是0和1存储为uint8。I0831 12:16:24.356781 2989601728 sgd_s
浏览 4提问于2017-09-01得票数 0
2回答
我想知道在神经网络层的反向传播过程中，是否设置了学习速率来更新权重。重量是如何和在哪里更新的？
我看不到优化器、学习率和反向传播函数之间的联系。
浏览 4提问于2021-09-14得票数 1
回答已采纳
1回答
[还请参阅stats：这里上的十字柱。
我有一个很大的数据集D_1。我有一个前馈深神经网络N，有隐藏层，我在D_1上训练，使用最小均方损耗和标准反向传播，并获得了参数。
现在，我知道了网络架构和学习的参数。接下来，我获得了一批新的数据，D_2 --这是一个类似于D_1的大型数据集。我想再次学习N的参数，就好像我
浏览 0提问于2022-10-12得票数 0
1回答
每次重启后降低最大学习率
、、、、
我正在训练一个神经网络来完成一个基于计算机视觉的任务。对于优化器，我发现在整个训练中使用单一的学习率并不理想，人们所做的就是使用学习率调度器以特定的方式衰减学习率。，它的作用是以余弦方式退火/降低初始学习率(由我们设置)，直到它重启。在这个“重启”之后，学习
浏览 46提问于2020-06-17得票数 1
2回答
我正在研究一个使用转移学习的图像分类问题。使用的参数如下：
model.compile(optimizer = adamOpti, loss= "categorical_crossentropy, metrics = ["accuracy"])
在测试中，我使用了
浏览 0提问于2019-05-02得票数 6
回答已采纳
我用一个基本的例子验证了我的TensorFlow (v2.2.0)、Cuda (10.1)和cudnn (libcudnn7-dev_7.6.5.32-1+cuda10.1_amd64.deb)，我得到了奇怪的结果……我可能忘了什么。要使用tensorflow运行，请执行以下操作：
from __future_
浏览 3提问于2020-05-27得票数 6
1回答
我目前正在用Keras训练CNN，我正在使用Adam优化器。我的计划是在每一个时代之后逐渐降低学习率。我以为衰变参数就是为了这个。对我来说，这些文档并没有清楚地解释它是如何工作的：然而，当观察张紧板中使用的学习率时，它与初始学习率保持不变。那么，这个衰变参数是如何工作<
浏览 0提问于2017-12-29得票数 7
3回答
我在用Hugginface的训练器。如何在N个时期后调整学习率？例如，我将初始学习率设置为lr=2e-6，并且我希望在第一个时期之后将学习率更改为lr=1e-6，并在剩余的训练中保持该学习率。last_epoch=-1我知道有，但在这里，它每个时代都会降低学习率，但这不是
浏览 5提问于2021-07-23得票数 1
这是一些客户的情况。
我使用这个数据集来训练我的TFF模型。训练集的准确率约为0.99，而测试集的准确率仅为0.5左右。我试了很多次，但都没反应。我认为可能模型是过拟合的，所以我添加了两个dropout进行测试，但我得到了相同的结果。然后我将relu()函数更改为leakyrelu()，并将优化器函数从SGD更改为Adam，但准确率也约为0.5。我不知道为什么。我知道非IID会导致
浏览 0提问于2020-04-15得票数 1
我正在用Adam优化器训练一个图像本地化网络，有人建议我使用指数衰减。我不想尝试这一点，因为Adam优化器本身会降低学习速度。但那家伙坚持，他说他以前做过。所以我应该这么做，你的建议有什么理论依据吗？
浏览 8提问于2016-09-15得票数 125
回答已采纳
我正试着用Pytorch训练CNN的文本分类器。我像这样使用Adam优化器。optimizer = torch.optim.Adam(CNN_Text.parameters(), lr=args.lr)所以，我实现了学习率衰减，
If curr_loss > val_loss: prev_lr =
浏览 11提问于2018-12-06得票数 1
2回答
我认为Adam优化器的设计使得它能够自动调整学习速度。但是有一个选项可以显式地提到Keras中Adam参数选项中的衰变。我想澄清衰变对Keras中Adam优化器的影响。如果我们在lr = 0.001 0.001上用衰减式0.001.0 1编译模型，然后拟合该模型运行50次，那么在每一时期后，学习率会降低0.0 1倍吗？我们是否可
浏览 3提问于2020-02-02得票数 6
回答已采纳
在Keras中，如果将模型的损失函数乘以某个常数C，并将学习率除以C，那么训练过程中就不会出现差异，这是真的吗？def my_loss(y_true, y_est): 在第一个场景中，我使用学习率等于0.005的Adam优化器，并使用该损失函数和
浏览 0提问于2017-10-18得票数 1
2回答
我正在将一个基本的MNIST模型训练程序从使用keras2.3.1移植到tf.keras (TensorFlow2.0)，并且看到了一些奇怪的行为。我的初始代码训练得很好，但是在更新我的导入之后，模型训练就陷入了困境。以下是我的代码input_layer = Input(shape=(784,))
network1 = Dense(152, activation=nn.tanhbatch_size=conf.batch_
浏览 3提问于2019-11-19得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
