如何在pytorch中使用自定义损失的反向传播？
在PyTorch中使用自定义损失的反向传播可以通过以下步骤实现：
- 首先，定义一个自定义损失函数。自定义损失函数应该继承自
torch.autograd.Function类，并实现forward和backward方法。在forward方法中计算损失值，而在backward方法中计算梯度。 - 以下是一个示例的自定义损失函数代码：
- 以下是一个示例的自定义损失函数代码：
- 在模型中使用自定义损失函数。在定义模型时，可以将自定义损失函数作为模型的一部分。以下是一个示例的模型代码：
- 在模型中使用自定义损失函数。在定义模型时，可以将自定义损失函数作为模型的一部分。以下是一个示例的模型代码：
- 在训练过程中使用自定义损失函数。在每个训练迭代中，计算模型的损失并进行反向传播。以下是一个示例的训练代码：
- 在训练过程中使用自定义损失函数。在每个训练迭代中，计算模型的损失并进行反向传播。以下是一个示例的训练代码：
通过以上步骤，你可以在PyTorch中使用自定义损失的反向传播。请注意，上述代码仅为示例，你需要根据具体的问题和需求进行适当的修改和调整。
关于PyTorch和深度学习的更多信息，你可以参考腾讯云的相关产品和文档：
相关·内容
1回答
我知道在PyTorch中，优化器是通过
optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate)
在训练循环中，我们必须向后执行，并通过执行这两行来更新梯度。
loss.backward()
optimizer.step()
但是，损失是如何与模型参数相关联的呢？因为我们只定义优化器和模型之间的连接，而从不定义损失和模型之间的关联。
当我们执行loss.backward()时，PyTorch如何知道我们将为我们的model做反向传播
我把完整的代码放在这里作为上下文
import torch
import torch.n
浏览 8提问于2022-08-20得票数 0
我在github上读到了这些代码：
# loss1, loss2 belong to the same net
net.zero_grad()
loss1 = ...
loss2 = ...
loss1.backward()
loss2.backward()
optim.step()
这不是pytorch官方网站上提到的BP方法，官方文档中提到了tensor.backward的Computes the gradient of current tensor w.r.t. graph leaves.。
那么，其他梯度期望这两个损失张量不被计算？并且没有更新张量？
浏览 31提问于2018-12-20得票数 1
1回答
我应用了transformer模型，并将padding_mask + look_a_head_mask应用到了注意力层。但是掩码不会传播到输出。在计算损失时，有没有办法应用padding_mask？
浏览 15提问于2020-12-21得票数 0
1回答
我正在阅读Pytorch官方教程进行微调，我面临着一个问题，那就是每个时代的损失计算。 在此之前，我计算批量数据的损失，累积这些批量损失，并找到这些值的平均值作为时期损失。但在该示例中，计算如下： for inputs, labels in dataloaders[phase]:
inputs = inputs.to(device)
labels = labels.to(device)
# zero the parameter gradients
optimizer.zero_grad()
浏览 18提问于2020-08-18得票数 1
为了模拟更大的批处理大小，我希望能够为PyTorch中的模型积累每N批的梯度，例如：
def train(model, optimizer, dataloader, num_epochs):
model.train()
model.cuda()
for epoch_num in range(1, num_epochs+1):
for batch_num, data in enumerate(dataloader):
ims = data.to('cuda:0')
loss =
浏览 0提问于2021-11-26得票数 1
回答已采纳
1回答
我有两个深度学习的Models A and B，B分别用A的预测结果进行训练。为了训练B Model，我想用A的预测结果作为B的输入。可以理解为这两种模式的级联。因此，当我用Model B用PyTorch编写数据集时，它从Model A而不是本地文件读取数据。然而，当训练Model B时，由于Model A需要对Model B的每个输入数据运行，所以速度非常慢，有什么有效的方法将两个模型组合在一起吗？我试图将model A的预测数据保存为文件，然后将这些文件作为B的数据集输入，这需要大量的存储，也许不是最好的方法。期待着想法！！
浏览 7提问于2022-08-23得票数 0
回答已采纳
因此，我正在尝试使用Keras (Tensorflow后端)中的Lambda层实现一个自定义函数。
我想把输入张量转换成numpy数组来执行我的功能。但是，我不能运行tensor.eval()，因为它抛出了一个错误：
InvalidArgumentError (see above for traceback): You must feed a value for placeholder tensor 'input_1' with dtype float and shape [?,960,960,1]
这是我的代码：
def tensor2np(tensor):
retu
浏览 0提问于2018-03-30得票数 1
1回答
我是Pytorch的新手。在这里我想使用这个模型来生成一些图像，但是由于这是在Pytorch 1.5之前编写的，因为梯度计算已经修复，所以这是错误消息。 RuntimeError: one of the variables needed for gradient computation has been
modified by an inplace operation: [torch.cuda.FloatTensor [1, 512, 4, 4]]
is at version 2; expected version 1 instead.
Hint: enable anomaly det
浏览 249提问于2021-09-13得票数 0
回答已采纳
1回答
我正在研究一个对象检测模型。我有带注释的图像，它们的值存储在一个带有列(filename，x，y，w，h，class)的数据框中。我的镜像放在/drive/mydrive/ images /目录中。我已将数据框保存到同一目录下的CSV文件中。因此，现在我在CSV文件中有了注释，并且在images/目录中有了图像。
我希望将此CSV文件与图像一起作为地面实况，以便当边界框被模型识别并了解边界框的内容时。
我如何将包含图像的CSV文件提供给模型，以便我可以训练我的模型来检测，并在以后使用相同的图像来预测相似图像的边界框？
我不知道该怎么做。
我没有得到一个错误。我只想知道如何向图像提供边界框，以便
浏览 6提问于2019-08-02得票数 1
我有一个损失函数，其中包括两组需要学习的参数。一个是矩阵，wrt是我想要最大的损失，另一个是logistic回归的参数集，wrt是我想要最小化的损失。在pytorch中，无论何时使用loss.backward()，损失都被最小化，wrt和(-loss).backward()使wrt和wrt都最大化。如何最大限度地优化火把中的参数集？Tensorflow可能有gradient_tape和tape.watch()概念。在火把中有什么替代办法？
浏览 1提问于2021-11-27得票数 1
回答已采纳
我正在训练一个PyTorch RNN来预测给定一个字符的下一个字符。
下面是我的RNN的定义：
import torch.nn as nn
import torch.optim
class RNN(nn.Module):
def __init__(self, input_size, hidden_size, output_size):
super(RNN, self).__init__()
self.hidden_size = hidden_size
# from input, previous hi
浏览 2提问于2021-09-07得票数 2
回答已采纳
2回答
我看的例子来自于一个模型的pytorch：
对于范围内的划时代(2)：多次在数据集上循环
running_loss = 0.0
for i, data in enumerate(trainloader, 0):
# get the inputs; data is a list of [inputs, labels]
inputs, labels = data
# zero the parameter gradients
optimizer.zero_grad()
# forward + backward + optimize
outputs
浏览 8提问于2022-06-02得票数 0
回答已采纳
我一直在使用这里提供的代码的resnet56模型：。
我注意到这个实现与许多其他在线可用的ResNet示例不同，我想知道PyTorch使用损耗()的反向传播算法是否可以解释所提供的代码中的lambda层和快捷方式。
如果是这样的话，是否有人能深入了解PyTorch如何能够为反向传播解释lambda层(例如，PyTorch如何知道如何区分该层的操作)？
我还不得不修改代码以适应我自己的用例，而且我自己使用选项== 'A‘的实现似乎没有产生很好的效果。这可能只是因为选项== 'B‘，它使用卷积层而不是填充，对我的数据更好。
self.shortcut = nn.Se
浏览 4提问于2020-01-19得票数 1
回答已采纳
我训练了模型，但过了一个时期，就出现了CUDA错误。我将列车批处理大小更改为1，并添加了torch.cuda.empty_cache()，但没有任何更改。我该怎么换呢？
Warming up dataloader
using pin_memory on device 0
Num per train_loader 562
Num per valid_loader 241
0%| | 0/201 [00:00<?, ?it/s][21:03:49.396] train Epoch: 0 loss: 1.122958 dice: 0.047626
[21:03:49.3
浏览 3提问于2022-01-03得票数 0
我是PyTorch的新手，在优化nn.Embedding矩阵时遇到了错误。
我的代码如下，使用给定的变量embedding_dim、num_node、train_label和train_edge
emb = nn.Embedding(num_node, embedding_dim)
optimizer = SGD(emb.parameters(), lr=0.1, momentum=0.9)
loss_fn = nn.BCELoss()
sigmoid = nn.Sigmoid()
for i in range(500):
optimizer.zero_grad()
res = to
浏览 3提问于2021-10-06得票数 0
python中tensorflow梯度函数中的grad参数(如下面的文档中的示例)表示什么？
@tf.RegisterGradient("Sub")
def _sub_grad(unused_op, grad):
return grad, tf.neg(grad)
文档说它代表“相对于op的每个输出的渐变”。哪个梯度？op的每个输出的梯度，相对于op的每个输出？
这里的op是x，这是否意味着这个函数中的grad参数引用了
这将与函数的输出保持一致，即
，
但我想确认一下。
谢谢您的澄清！
浏览 5提问于2016-06-23得票数 1
回答已采纳
我正在实现一个自定义损失函数，如下面的代码所示，用于简单的分类。但是，当我运行代码时，我得到错误ValueError:没有为任何变量提供渐变： import os
os.environ['KERAS_BACKEND'] = "tensorflow"
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from tensorflow import keras
from tensorflow.keras import layers
from sklearn.prep
浏览 32提问于2021-02-04得票数 0
2回答
有这样的主张：
计算梯度的反向传播算法已经被重新发现了很多次，它是一种更一般的技术的特例，称为反向累积模式下的自动微分。
有人能解释一下，用外行人的话说吗？什么功能是被区分的？什么是“特例”？是所使用的伴随值本身还是最终的梯度？
更新：，自从写这篇文章以来，我发现这在“深度学习”6.5.9节中有介绍。见。我还发现，这篇论文对Haber和Ruthotto的“深度神经网络的稳定体系结构”这一主题提供了有益的信息。
浏览 4提问于2014-05-06得票数 14
回答已采纳
1回答
SDG批量>1？
、、
我正在学习IBM的“使用PyTorch的深度NNs”课程，并且我遇到了一些实验室示例，其中SDG用于优化器，而DataLoader中的批处理大小大于1。
如果我正确理解，SGD将执行梯度下降，每一步只有一个训练例子，所以这个情况下，SGD将如何与每一批训练示例交互？
例如，如果批处理大小= 20，SGD优化器会在每批中执行20个GD步骤吗？如果是这样的话，那么这是否意味着无论我为DataLoader设置了多大的批大小，SGD优化器都只会在一个时代执行GD步骤(训练示例的#)吗？
Layers = [2, 50, 3]
model = Net(Layers)
learning_rate = 0.
浏览 6提问于2022-05-01得票数 0
5回答
这样，我想用一些辅助损失来提升我的模型性能。
哪一种类型的代码可以在pytorch中实现？
#one
loss1.backward()
loss2.backward()
loss3.backward()
optimizer.step()
#two
loss1.backward()
optimizer.step()
loss2.backward()
optimizer.step()
loss3.backward()
optimizer.step()
#three
loss = loss1+loss2+loss3
loss.backward()
optimizer.step()
浏览 1提问于2019-01-01得票数 46
回答已采纳
我有一些python代码，我必须阅读和理解。
在我发现的一行
img = Variable(torch.from_numpy(img.transpose(2, 0, 1)[np.newaxis,:,:,:]).cuda().float(), volatile=True)
我看到的这个Variable是什么？当我使用IDE查找定义时，它会说“没有找到变量的定义”，这让我怀疑它是python中的一个标准函数。我显然不能为python搜索“变量”，因为我会得到关于python中变量的无数定义。
有人见过这样的台词吗？变量被用作函数的位置？T
浏览 1提问于2020-08-03得票数 0
回答已采纳
我的pytorch神经网络的输出是float64类型的数据。此变量必须用作像素偏移量，因此我需要将其转换为long类型。
然而，我刚刚发现转换out=out.long()将变量属性".requires_grad“切换为False。
如何将其转换为长时间维护".requires_grad“为true？
浏览 20提问于2021-05-01得票数 0
1回答
例如，我将一组图像输入CNN。这些图像的默认权重是1，我如何重新加权这些图像，使它们具有不同的权重？“DataLoader”能在火把中达到这个目标吗？
我学到了另外两种可能性：
定义一个自定义丢失函数，根据我的要求为每个样本提供权重。
重复样本在训练集，这将导致更频繁的样本有一个较高的重量在最终损失。
有没有其他方法，我们可以做到这一点？如有任何建议，将不胜感激。
浏览 5提问于2017-06-25得票数 1
回答已采纳
1回答
由于观察不能揭示整个状态，我需要使用递归神经网络进行强化，以便网络对过去发生的事情有某种记忆。为简单起见，我们假设使用LSTM。
现在，内置的shape LSTM需要向它提供shape Time x MiniBatch x Input D的一个PyTorch输入，它输出shape Time x MiniBatch x Output D的张量。
然而，在强化学习中，要知道time t+1的输入，我需要知道time t的输出，因为我是在环境中执行操作。
那么，有没有可能使用内置的BPTT在强化学习环境中进行PyTorch？如果是的话，我该怎么做呢？
浏览 1提问于2017-10-24得票数 3
1回答
我有一些Pytorch代码，它演示了Pytorch内部的梯度计算，但是我完全搞不懂计算了什么以及它是如何使用的。这篇文章演示了它的用法，但就反向传播算法而言，它对我来说没有任何意义。在下面的例子中，我看到了in1和in2的梯度，我意识到in1和in2的梯度是损失函数的导数，但我的理解是更新也需要考虑实际的损失值。损失价值在哪里被使用？我是不是漏掉了什么？
in1 = torch.randn(2,2,requires_grad=True)
in2 = torch.randn(2,2,requires_grad=True)
target = torch.randn(2,2)
l1 = torch.
浏览 0提问于2019-04-05得票数 3
回答已采纳
1回答
我正试图使用带有自定义丢失的Keras在python中构建一个神经网络，并且我在徘徊，在最后一层中是否有作为激活函数的乙状结肠函数，而在自定义丢失开始时是否有一个sigmoid函数。我的意思是：
我有一种感觉，在第二个模型中，损失是计算出来的，但它不是通过乙状结肠传播的，而在第一个模型中，它是。是那么回事吗？
浏览 0提问于2017-02-21得票数 2
回答已采纳
1回答
连体网络的参数更新对比损失训练
、、、、
我试图实现一个相当简单的暹罗网络和一个对比损失函数。我使用经过预先训练的VGG16作为骨干模型，并从编码器中去掉最后的ReLU和MaxPooling。然后添加一个自适应池和一个简单的线性层来生成嵌入向量。
为了测试我的实现，我传递随机输入并检查每个参数是否得到更新。
问题:可以在我的MWE输出中看到，参数列表中的元素25和27不会接收更新。我认为这是最后一层卷积层和线性层的偏差。我还检查了optimizer.param_groups[0][“params”][25].grad和optimizer.param_groups[0][“params”][27].grad的内容。梯度都是零..。，为什
浏览 5提问于2022-04-27得票数 1
我有点搞不懂在神经网络训练中损失函数是如何计算的。有人说，在理论上，当使用网格搜索或蒙特卡罗方法时，我们可以计算所有可能的损失函数值。但显然，这需要太多的资源，并不是神经网络训练的好方法。或者，在使用梯度下降时，我们有可能评估单个值，以知道我们应该往哪个方向去测试下一个值。然后我们可以一步一步地爬下梯子，直到我们达到最优值。
📷
但是另一方面，在下面的PyTorch例子中，据说损失函数是根据所有的预测值和实数来计算的。然后计算梯度。那么，当前面的步骤中的所有损失值都被计算出来时，梯度下降的点是什么呢？
📷
浏览 0提问于2019-09-23得票数 1
我用神经网络进行了数字识别(56x56位)，但我在测试集和训练集上的准确率分别为89.5%和100%。我知道，使用这个训练集在测试集上获得95%以上是可能的。有什么方法可以改善我的训练吗?这样我就能得到更好的预测了？从300到1000的迭代给了我+0.12%的精度。我的文件大小也是有限的，所以增加节点的数量是不可能的，但是如果是这样的话，也许我可以从输入层减少一些像素/节点。
训练我用的是：
输入层: 3136个节点
隐藏层:220个节点
标签: 36
用lambda=0.1规范成本函数
计算权重的fmincg (1000次迭代)
浏览 9提问于2016-05-30得票数 0
回答已采纳
我是PyTorch的新手，我很难理解loss是如何知道如何通过loss.backward()计算梯度的？
当然，我知道参数需要有requires_grad=True，并且我知道它将x.grad设置为适当的梯度，以便优化器稍后执行梯度更新。
优化器在实例化时链接到模型参数，但损失永远不会链接到模型。
我一直在通过，但我认为没有人清楚地回答了这个问题，这个帖子的发起人似乎和我有同样的问题。
当我有两个不同的网络，有两个不同的损失函数和两个不同的优化器时，会发生什么？我将很容易地将优化器链接到每个网络，但是如果我从来没有将它们链接在一起，那么损失函数如何知道如何计算每个适当网络的梯度呢？
浏览 2提问于2019-11-14得票数 3
1回答
多层损失咖啡豆
、、、、
在使用Caffe时，我观察到，在prototxt文件中可以有几个丢失层。
我相信Caffe会从合并损失中计算出梯度，并利用它来调整网络的权重。
这是正确的吗？
浏览 0提问于2016-07-25得票数 1
嗨，伙计们，我最近开始使用PyTorch进行我的研究，需要编解码框架。PyTorch在这方面的教程很棒，但是有一个小问题:当没有老师强迫的情况下训练解码器时，这意味着使用当前时间步骤的预测作为下一个步骤的输入，是否应该对预测进行detach编辑？
在中，使用detach (decoder_input = topi.squeeze().detach() # detach from history as input )，但在 (top1 = output.max(1)[1]; output = (trg[t] if teacher_force else top1))中并非如此。
这两个教程都是基
浏览 1提问于2020-04-13得票数 2
回答已采纳
训练数据集包含两个类别A和B，相应地，我们在目标标签中表示为1和0。Out标签数据严重倾向于0类，这大约占数据的95%，而我们的类1仅占5%。在这种情况下，我们应该如何构建我们的损失函数？
我发现Tensorflow有一个可以用于权重的函数：
tf.losses.sigmoid_cross_entropy
weights作为损失系数。如果提供了标量，则损失将按给定值进行缩放。
听起来不错。我将权重设置为2.0，以使损失更高，更多地惩罚错误。
loss = loss_fn(targets, cell_outputs, weights=2.0, label_smoothing=0)
然而，
浏览 1提问于2018-04-13得票数 3
回答已采纳
1回答
我有一个名为父模块的父模块，其中包含两个子组件。子模块在父组件下面定义。
class Parent(nn.Module):
def __init__(self,in_features,z_dim, img_dim):
super().__init__()
self.my_child1 = Child1 (z_dim, img_dim)
self.my_child2 = Child2 (in_features)
def forward(self,input):
input=self.my_child1(i
浏览 4提问于2022-04-09得票数 0
3回答
通过这个，我熟悉以下内容：
对于每个训练实例，反向传播算法首先进行预测(前向传递)，测量误差，然后反向遍历每一层以测量每个连接(反向传递)的误差贡献，最后稍微调整连接权重以减小误差。
但是，我不确定这与TensorFlow的反向模式自动关闭实现有何不同。
据我所知，反向模式自减首先在正向上通过图，然后在第二次传递中，计算输出与输入有关的所有偏导数。这与传播算法非常相似。
反向传播与反向模式自定义有何不同？
浏览 3提问于2018-04-19得票数 15
回答已采纳
1回答
pytorch神经网络的一个典型骨架有一个前向()方法，然后根据前向传递的输出计算损失，并对该损失调用反向()来更新梯度。如果我的损失是外部决定的(例如，通过在某些RL环境中运行模拟)。我还能这样利用这个典型的结构吗？
这可能有点愚蠢，因为我们不再确切地知道每个输出元素对损失的影响有多大，但也许有一些我不知道的诡计。否则，我不知道如何将神经网络与其他RL算法结合使用。
谢谢!
浏览 3提问于2017-07-22得票数 1
回答已采纳
2回答
在计算机作业中，要求实现word2vec算法，以便使用神经网络为某些单词生成密集向量。我实现了神经网络，并通过训练数据对其进行了训练。首先，我如何通过测试数据对其进行测试？问题要求绘制一个图，显示训练期间训练和测试数据的困惑(时期)。我可以为损失做这件事，就像这样： EPOCH: 0 LOSS: 27030.09155006593
EPOCH: 0 P_LOSS: 24637.964948774144
EPOCH: 0 PP: inf
/usr/local/lib/python3.6/dist-packages/ipykernel_launcher.py:121: RuntimeWarnin
浏览 18提问于2019-04-29得票数 0
1回答
我正在学习一个关于理解限制Boltzmann机器 (RBM)的教程，我注意到他们同时使用了术语reconstruction和backpropagation来描述更新权重的过程。它们似乎在引用输入和第一个隐藏层之间的链接时使用重构，然后在引用到输出层的链接时使用反向传播。
这些术语是互换使用的，还是不同的概念？
浏览 0提问于2018-12-17得票数 0
回答已采纳
我在Keras中使用functional API来构建一个具有多个输出层的神经网络模型。我想知道在优化过程中更新权重时(当做back-prop时)损失是如何评估的。假设使用相同的损失函数，那么所有输出的平均损失是用于最小化成本函数还是单独评估每个输出以更新权重？
提前感谢！
浏览 0提问于2017-04-29得票数 3
3回答
我有一个概念上的问题，因为术语困扰着我。反向传播算法是一种神经网络训练算法，还是仅仅是一种递归算法来计算神经网络的雅可比？那么这个Jacobian将作为主要训练算法的一部分，例如最陡峭的下降？
因此，计算雅可比矩阵(神经网络输出到网络参数的偏导数)是一种训练算法还是一种数值方法？
浏览 0提问于2021-09-08得票数 4
回答已采纳
我打算用这种东西。
model.compile(optimizer='adam', loss=lambda y_true, y_pred: y_pred)
我想知道这是不是fail-proof。
我为什么要这么做？使用y_pred作为损失函数，通过将模型的输出设置为-r来最大化变量r的思想。因此，减少loss-function y_pred意味着减少-r，这意味着增加r。
r是matrix X的一个函数，我将其设置为网络中的一个层。
浏览 4提问于2019-10-05得票数 2
回答已采纳
1回答
我想学习如何离线反向传播神经网络，因此我想出了下面的示例：
其中1人因偏见而留下。最后一层的激活函数是线性的。
哪里
我的直觉问题
我想离线计算反向推进，但我不知道该如何做。我理解在线背靠背背后的直觉，我们通过观察来计算梯度观测。但是我不知道它应该如何离线工作，也就是一次计算所有的观测结果。你能告诉我我应该朝哪个方向走吗？
浏览 1提问于2021-10-24得票数 1
当我在Tensorflow的网站上看到时，我发现了两种自定义损失的方法。第一个是定义一个损失函数，就像：
def basic_loss_function(y_true, y_pred):
return tf.math.reduce_mean(tf.abs(y_true - y_pred))
为了简单起见，我们假设批处理的大小也是1，所以y_true和y_pred的形状都是(1，c)，其中c是类的数目。在这种方法中，我们给出了两个向量y_true和y_pred，并返回一个值(Scala)。
然后，第二个方法是子类tf.keras.losses.Loss类，指南中的代码是：
class W
浏览 4提问于2020-05-14得票数 4
2回答
对于这样的网络架构：
+---+
input1--->| CNN | -------|
+---+ |
|
+---+ +-------+ +-------+
input2--->| CNN | ----| Concat|-----|----| VGG |---- Main_out
+---+ +-------+ | +-------+
浏览 62提问于2019-07-26得票数 1
我想在Tensorflow中使用一个预先训练过的Pytorch模型，并且我需要将tensorflow张量转换为pytorch张量。但是，我不想将Py手电筒张量转换为numpy数组，并将其转换为tensorflow张量，因为我得到的错误是“您必须为占位符张量提供一个值”。当我制作图形时，我需要这个转换，这样tensorflow张量就没有价值了，并且不能转换为numpy！有什么解决办法吗？
浏览 5提问于2021-01-24得票数 2
回答已采纳
我想在另外两个神经网络的帮助下训练一个神经网络，这些神经网络已经经过了训练和测试。我要训练的网络的输入同时输入到第一个静态网络。我想训练的网络的输出输入到第二个静态网络。损失应计算在静态网络的输出上，并传播回列车网络。
# Initialization
var_model_statemapper = NeuralNetwork(9, [('linear', 9), ('relu', None), ('dropout', 0.2), ('linear', 8)])
var_model_panda = NeuralNetwork(9
浏览 2提问于2022-01-25得票数 0
回答已采纳
我正在训练一个神经网络，其中包含了。这一过程如下：
采取监督架构，并复制它。让我们称原来的模型为学生，称新模式为教师。
在每个培训步骤中，使用相同的小批量作为输入给学生和教师，但在输入中分别添加随机增强或噪声。在学生和教师输出之间添加一个额外的一致性成本(在softmax之后)。
让优化器正常更新学生的权重。
设教师权重为学生权重的指数移动平均(EMA)。也就是说，在每个训练步骤之后，将教师的权重稍微向学生的权重更新一点。
另外，tensorflow文档说，EMA变量是用(trainable=False)创建的，并添加到GraphKeys.ALL_VARIABLES集合
浏览 3提问于2019-02-28得票数 1
1回答
谁能告诉我在Keras中反向传播是怎么做的？我读到在Torch中很简单，在Caffe中很复杂，但我找不到任何关于使用Keras做这件事的东西。我正在用Keras (一个非常初学者)实现我自己的层，我想知道如何做反向传播。
提前谢谢你
浏览 5提问于2017-11-21得票数 21
回答已采纳
我正在研究一个文本分类问题(例如情感分析)，在这个问题上，我需要将文本字符串分类为五个类中的一个。
我刚开始使用包和PyTorch的BERT。我需要的是一个分类器，在顶部有一个softmax层，这样我就可以进行5路分类。令人困惑的是，变压器包中似乎有两个相关的选项：和。
我应该用哪一个来完成我的5路分类任务？它们的适当用例是什么？
BertForSequenceClassification的文档根本没有提到softmax，尽管它确实提到了交叉熵。我不确定这类是否只适用于2类分类(即logistic回归)。
具有顺序分类/回归头的Bert模型转换器顶部(集合输出顶部的线性层)，例如用于胶水任务
浏览 5提问于2020-03-10得票数 17
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
