我有一个如下的设置，在这里我有一个外部的for循环迭代在epochs上，一个内部的for循环迭代在批处理上。
在内部for循环中，在批处理中，我使用交叉熵损失，并使用具有一定学习率的Adam优化器。在内部for循环之后(在评估所有批处理之后)，然后根据输出计算另一个损失函数(一个自定义损失函数
浏览 63提问于2020-05-14得票数 0
我是PyTorch的新手，我很难理解loss是如何知道如何通过loss.backward()计算梯度的？当然，我知道参数需要有requires_grad=True，并且我知道它将x.grad设置为适当的梯度，以便优化器稍后执行梯度更新。
优化器在实例化时链接到模型参数，但损失永远不会链接到模型。我一直在通过，但我认为没有人清楚地回答了这个问题，这个帖子的发起人似乎和我有同样的问题。
浏览 2提问于2019-11-14得票数 3
我在Pytorch上运行了一个基于Linknet架构的图像分割代码。优化器初始设置为： self.optimizer = torch.optim.Adam(params=self.net.parameters(), lr=lr) 然后我将其更改为Nesterov以提高性能Nesterov的性能较差。当我使用Adam时，损失函数可以收敛到0.19。但是当我使用Nesterov时，损失函数</e
浏览 45提问于2021-08-30得票数 0
当你增加更多的层和更多的神经元时，你的学习率会下降，这是正确的吗？
所以，一般来说，网络越大，学习速度就越小？
浏览 0提问于2021-04-28得票数 1
1回答
我正在使用tensorflow编写一些简单的神经网络进行一些研究，我在训练过程中遇到了许多关于“nan”权重的问题。我尝试了许多不同的解决方案，如更改优化器、更改损失、数据大小等，但都没有效果。最后，我注意到学习率的变化使我的体重发生了难以置信的变化。
使用.001的学习速率(我认为这是相当保
浏览 0提问于2016-12-27得票数 11
回答已采纳
1回答
我正在使用在Tensorflow中实现的卷积神经网络(cnn)进行图像分割。我有两个类，我使用交叉熵作为损失函数和Adam优化器。我正在用大约150张图片训练这个网络。在训练过程中，我看到了这种周期性的模式，训练损失一直下降到有一对高的值，然后迅速下降到以前的水平。
在验证损失中也可以观察到类似的模式，验证损失会周期性地
浏览 0提问于2018-06-05得票数 0
2回答
在Keras中，当指定平均绝对误差等损失时，它是否将学习算法(Adam或SGD)中的代价函数替换为平均绝对误差？我对ML还不熟悉，在这方面有点困惑。
浏览 0提问于2020-06-17得票数 0
回答已采纳
1回答
我应该选择哪种学习率？
、、、、
我在2d图像上训练一个分割模型，Unet++，现在我正在寻找最优的学习速度。模型的主干是Resnet34，我使用Adam优化器，损失函数是骰子丢失函数。此外，我还使用了一些回调函数： keras.callbacks.EarlyStopping(monitor='val_loss', patience=keras.callback
浏览 0提问于2020-11-13得票数 3
回答已采纳
我已经初始化了两个张量(矩阵)： sm=Var(torch.randn(20,1),requires_grad=True)freq_m=Var(torch.randn(12,20),requires_grad=True) 我从这两个矩阵中的数据创建了两个列表，并使用spearmanr来获取这两个列表之间的相关值。我如何创建列表并不重要，但目标是调整矩阵内部的值，以便计算出的相关值尽
浏览 20提问于2019-08-24得票数 1
回答已采纳
1回答
损失从第一个时代开始就在增加。
、、、、
我正在为nlp训练我的暹罗网络。我在其中使用了lstm。和BCELoss。从第一个时代开始，我的损失就越来越大。在272.4357是大小为1的torch.FloatTensor之后，前36个历元损失是错误的%2之后的错误是大小为%%5之后的错误是
浏览 11提问于2018-01-31得票数 0
回答已采纳
我试图用一维卷积神经网络从x，y，z加速度计和陀螺仪数据(6个特征)中将数据分类为行走或跑步(以及最终的其他活动)，并对不同的参数进行扫描。当我根据我的数据训练和评估模型时，我有时获得100%的精度，而有时则得到60%的精度(有一些参数的组合导致了~99%)。这些模型看起来不像从训练v验证损失曲线中过度拟合，但我觉得奇怪的是，我有时得到100.000%，然后其他人那么低。
为了了解是否总是这样，我对每个</e
浏览 0提问于2019-08-12得票数 0
回答已采纳
1回答
我正在尝试在PyTorch中为软Q学习、参与者-批评者策略梯度算法实现一个自定义损失函数。这来自于下面的论文。该算法的结构类似于深度Q学习，因为我们使用网络来估计Q值，并使用目标网络来稳定结果。然而，与DQN不同的是，我们从Q(s)计算V(s)的方法是：这非常简单，可以用PyTorch进行计算。我的主要问题是如何设置损失</e
浏览 21提问于2019-11-20得票数 0
1回答
我正在调查一个损失平台和克服它的各种技术，这使我看到了这一页和声明：
一旦学习停滞，模型通常会从将学习率降低2-10倍中获益。这个回调监视一个数量，如果没有看到一个“耐心”时代的改善，学习率就会降低。如果我的学习率是0.001，那么我是将学习率降低到0.001，还是降低到0.0001？一开始我会从0.001 > 0.0001开始考虑后者，但是当一个模型达到一
浏览 0提问于2022-04-05得票数 0
1回答
我想在tensorflow中实现一个多任务学习框架。我目前正在实现这样的东西(伪代码)define_clas_cost()
reg_optimizer.我有两个损失函数，我想学习权重，以便在相同的优化器中，在不同的学习速率下最小化两个损失。我基本上希望梯度优化器进
浏览 6提问于2017-10-05得票数 5
4回答
我是机器学习的新手，我正在尝试为我的一个项目分析分类算法。我在sklearn库中偶然发现了SGDClassifier。但许多论文都将SGD作为一种优化技术。有人能解释一下SGDClassifier是如何实现的吗？
浏览 1提问于2017-08-02得票数 7
我想用keras的预训练模型进行迁移学习from tensorflow import keras
使用keras编译/拟合函数进行</
浏览 0提问于2019-07-30得票数 1
1回答
一维CNN模型的精度很低。
、、、、
我试图建立DNA突变分类的一维CNN模型，我建立了模型，它工作正常，但我得到的测试数据的准确性很低，我有数据集，如下图。
vocab_size = 100max_len = 90accuracy = accuracy*100
print("test accuracy = {:.2f}".fo
浏览 3提问于2021-06-25得票数 0
我正在尝试用pytorch来“复制”，而且我还是个新手。我现在关心的是复制L_G (等式)。7第3页)，下面是我当前的代码： super(JSDLoss,self).但是，我怀疑这不是创建自定义损失的方法。任何形式的帮助都是非常感谢的！提前感谢:)
浏览 4提问于2017-12-13得票数 3
我正在用Adam优化器训练一个图像本地化网络，有人建议我使用指数衰减。我不想尝试这一点，因为Adam优化器本身会降低学习速度。但那家伙坚持，他说他以前做过。所以我应该这么做，你的建议有什么理论依据吗？
浏览 8提问于2016-09-15得票数 125
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
