1回答
假设我有一个多重损失定义为 losses = ... # a tensor with shape: (10,) 现在我想找出每个损失在一个权重w上的梯度 for i in range(len(10)):
grad[i] = tf.gradients(losses[i], w) 现在，我可以不使用上面的for循环而直接做到这一点吗？
浏览 13提问于2019-06-17得票数 2
假设我有一些损失：
与其只获取construct_sentence和construct_loss中涉及的特定变量的梯度，我还得到了变量embeddings中每个嵌入的梯度(对于那些不涉及损失&
浏览 2提问于2018-02-05得票数 4
我一直在使用来自openopt的l优化器使用Tensorflow。很容易设置回调，以允许Tensorflow计算l-bfgs的梯度和损失评估，但是，我很难在训练过程中引入像退出这样的随机元素。在线性搜索过程中，loss对损失函数进行多次评估，而损失函数需要与先验梯度计算在同一网络上运行。但是，对于tf.nn.dropout函数的每一次计算，似乎都会创建一组新的退出。我正在寻找一种方法来修复丢失函数<
浏览 2提问于2016-05-04得票数 3
回答已采纳
我目前正在做一个用tensorflow和keras实现的神经网络，我需要做的是调用一个我不能重新实现的函数，它在numpy数组上工作，而不是在张量上工作，我的第一个想法是像这样调用.numpy
defModel.fit期间，如果你试图在张量上调用y.numpy，你会得到错误Tensor has no attribute numpy，这是因为.numpy只在紧急执行中工作，而不是在图形执行中(至少这是我所理解的)有没有人知道一种在numpy数组上创建自定义损失函数的方法？
浏览 3提问于2020-11-12得票数 0
是否有可能将不同层次的损失结合起来？假设我有一个五层的模型。还是我们只是增加了更多的<em
浏览 2提问于2022-10-05得票数 0
回答已采纳
Tensorflow版本: Tensorflow 2.1import tensorflow as tf loss = <em
浏览 1提问于2020-02-09得票数 0
我想将tensorflow 2.0中的损失函数替换为梯度函数。例如，我有一个损失函数，如下所示： # do some standard tensorflow things here然后，我使用tf.GradientTape方法应用梯度，即
prediction = model(input)(zi
浏览 21提问于2019-11-20得票数 1
我编写了一个自定义丢失函数，将正则化损失添加到总损失中，我只在内核中添加了L2正则化程序，但是当我调用model.fit()时出现了一个警告，该警告声明这些偏差不存在梯度，并且不更新偏差，如果从其中一个层的内核中删除正则化损失，则该内核的梯度也不存在。这是我的损失函数： # convert tensors to numpy arrays
y_tr
浏览 1提问于2021-06-09得票数 0
回答已采纳
我正面临着一个关于tensorlfow的麻烦。执行以下代码import tensorlayer as tl
train_op = train(loss,
浏览 10提问于2017-07-25得票数 3
(链接至全文：)clipped_loss_vec = tf.clip_by_value(loss, -1, 1)
为了减少损失，我计算在-1和+1之间。在这种情况下，代理没有学习适当的策略。我打印出了网络的梯度，并意识到如果损失降到-1以下，梯度就会突然变为0！我对这种情况的推理是，在(-inf，-1) U (1，inf)中，剪裁损失是一个常数函数，这意味着这些区域的<
浏览 14提问于2016-04-06得票数 11
1回答
考虑一个神经网络，它有两个完全连接的层，依次是"l1_dense"和"l2_dense"，还有一些损失函数。在反向传播过程中，我想要计算"l2_dense" w.r.t.的梯度。损失函数，对梯度进行一些处理，并使用这个处理后的梯度作为"l1_dense"层的传入梯度(在链规则中)。我不知道怎么做的是提供修改后的<
浏览 2提问于2018-04-07得票数 0
在tensorflow中使用tf.nn.sparse_softmax_cross_entropy_with_logits，可以通过将类标签设置为-1来仅计算特定行的损失(否则它应该在0->numclasses-1的范围内)。不幸的是，这破坏了梯度计算(正如在源nn_ops.py的注释中提到的)。)
total_loss = tf.reduce_sum(classification_loss) + tf.red
浏览 3提问于2016-05-21得票数 2
1回答
我正在测试tf.gradienttape。我编写了一个包含几个输出层的模型，每个输出层都有自己的损失，在那里我想集成梯度磁带。我的问题是:有没有具体的技术来实现以梯度为目标的几个损失？我知道一个选择是取损失的平均值。这总是必要的吗？难道我不能输入一个损失列表，然后梯度磁带知道哪些损失属于哪个输出层吗？
浏览 4提问于2022-04-27得票数 1
2回答
关于神经网络的批量训练，我很少有疑问。否则，如果答案是梯度的平均值，那么优化权重似乎是非常合理的。然而，在这种情况下，我们必须培训更
浏览 2提问于2017-07-18得票数 6
回答已采纳
1回答
model是我训练过的Keras残差模型。然而，我试图计算输入张量损失w.r.t的梯度：(损失梯度w.r.t输入张量)，给我：
[None].None在这里意味着什么，我如何计算这些梯度？
浏览 0提问于2018-12-19得票数 0
回答已采纳
由tf.gradients()或optimizer.compute_gradients()获得的渐变是否已经被取反了？例如，对于梯度下降，我们知道方向应该设置为负梯度，-E'(W)，其中E'(W)是梯度，E(W)是损失。而且，在Tensorflow中，通过tf.train.GradientDescentOptimizer.compute_gradients()，()或tf.gradients()，我们可以获得梯度。
浏览 5提问于2019-05-17得票数 2
假设以下简化代码：y = tf.Variable(...) # y can also be some tensor computed from other variablesloss = x_new * x_new如果我优化损失，损失的梯度是反传播到x或y？
浏览 5提问于2017-10-27得票数 3
回答已采纳
我正在尝试通过将梯度应用于优化器来训练鉴别器网络。但是，当我使用tf.GradientTape查找损失的梯度w.r.t训练变量时，没有返回任何结果。) pattern = generator(noise)
pattern = tf.reshape(tensor返回的数据集是批处理的，因此我迭代数据集，并通过将此批处理的<em
浏览 10提问于2020-05-12得票数 1
回答已采纳
我试图通过传递损失来使用tf.gradient计算梯度，并使用梯度更新权重。我观察到当权重矩阵维数较大时，梯度为零。这可能是什么原因呢？
我看到代码中没有错误。我得到了权重矩阵和输入向量大小较小的非零梯度。通常，对于1*100的输入向量大小和100x50的权重，fp值将为1 x 50。在BP期间，ip将为1 x 50，权重将为50 x 100。损失是前向传播(FP)和后向传播(BP)值的差值之和。F
浏览 2提问于2017-05-29得票数 0
1回答
这可能更像是一个Tensorflow梯度问题。我一直试图实现交叉超过联合(IoU)作为损失，并遇到了一些问题。(tf.reduce_sum(iou))它能像预期的那样工作。然而，我现在面临的问题是，损失并没有减少。虽然结果并不理想，但模型确实训练，所以我想知道我是否正确地实现了它。我必须自己计算梯度吗？我可以使用IoU计算
浏览 2提问于2019-03-29得票数 7
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
