采用梯度时的张量流2.0；错误表示没有为任何变量提供梯度
采用梯度时的张量流2.0，是指在机器学习领域中使用的一种计算框架，用于进行梯度下降优化算法的实现和训练深度神经网络模型。该框架的主要特点是在计算图中定义了变量和操作节点，并通过张量（Tensor）表示数据的流动和变换。
梯度下降优化算法是机器学习中常用的一种优化方法，通过不断调整模型参数来最小化目标函数（损失函数）。在深度学习中，梯度下降算法的有效实现对于训练大规模神经网络模型具有重要意义。张量流框架提供了一种高效的方式来计算梯度并更新模型参数。
错误表示没有为任何变量提供梯度意味着在使用梯度时的张量流2.0时，没有为某个或某些变量提供梯度信息。这可能是由于以下几种原因导致的：
- 程序中没有定义需要计算梯度的变量：在使用梯度时的张量流2.0时，需要显式地定义需要计算梯度的变量。如果没有为某个变量定义梯度操作，那么该变量将不会有梯度信息。
- 梯度计算过程中的错误：在计算梯度时，可能会发生错误导致某个或某些变量没有正确计算梯度。这可能是由于代码中的错误、不正确的操作顺序或其他梯度计算相关的问题引起的。
为了解决这个问题，可以进行以下步骤：
- 确保程序中正确定义了需要计算梯度的变量，并在计算图中添加相应的梯度操作。
- 检查代码中可能存在的错误，例如变量命名错误、操作顺序错误等。
- 使用调试工具来检查梯度计算过程中的中间结果，确保梯度正确计算。
需要注意的是，具体如何处理错误表示没有为任何变量提供梯度取决于具体的使用场景和代码实现，因此无法提供特定的解决方案。
对于采用梯度时的张量流2.0，腾讯云提供了一系列与之相关的产品和服务，如腾讯AI Lab、腾讯云AI平台等。你可以参考腾讯云的官方文档了解更多详情：
腾讯AI Lab：https://ai.tencent.com/ailab/ 腾讯云AI平台：https://cloud.tencent.com/solution/ai-platform
相关·内容
在Tensorflow中，我如何在图中间的python张量列表之间进行选择，作为对图的其余部分的输入？
基本上，我有一个张量的python列表，这些张量是要在图的其余部分中用作输入的候选。我希望在不添加需要计算列表中所有张量的额外依赖项的情况下从它们中进行选择(我认为如果我使用tf.cond，就会发生这种情况)。如何选择其中一个？我不能在python级别这样做，因为我是根据占位符计算出的值来选择张量的。因此，例如：‘
x = tf.placeholder(tf.int32, shape=(num_steps, None))
y = tf.placeholder(tf.int32, shape=
浏览 1提问于2017-07-14得票数 0
在tf.gradients中，有一个关键字参数grad_ys
grad_ys是与ys相同长度的张量列表，包含ys中每个y的初始梯度。当grad_ys为0时，我们对ys中的每一个y填充一个‘1’s的y形状的张量。用户可以为每个y提供自己的初始grad_ys以使用不同的初始梯度来计算导数(例如，如果希望对每个y中的每个值加权不同的梯度)。
为什么这里需要grads_ys？这里的文档是隐含的。你能给出一些具体的用途和代码吗？
我为tf.gradients编写的示例代码是
In [1]: import numpy as np
In [2]: import tensorflow as tf
浏览 0提问于2018-06-21得票数 3
回答已采纳
首先，我知道有人问了一个相关的问题。
然而，这个问题是关于实施和内部的。我在看报纸"“。这里引用了以下两点：
1.
张量本身并不在内存中保存或存储值，而是只提供一个接口来检索张量引用的值。
在我看来，张量是一个简单地存储指向一个操作结果的指针的对象，在检索张量的结果或值时，它只是取消了那个指针。
2.
变量可以描述为存储张量的内存缓冲区的持久的、可变的句柄.因此，变量具有一定的形状和固定的类型。
在这里，我感到困惑，因为我认为，基于前面的点，张量只是存储一个指针。如果它们只是指针，它们也可能是可变的。
准确地说，这些是我的问题：
“内存缓冲区”的含义是什么？
“
浏览 4提问于2016-11-29得票数 23
回答已采纳
我在github上读到了这些代码：
# loss1, loss2 belong to the same net
net.zero_grad()
loss1 = ...
loss2 = ...
loss1.backward()
loss2.backward()
optim.step()
这不是pytorch官方网站上提到的BP方法，官方文档中提到了tensor.backward的Computes the gradient of current tensor w.r.t. graph leaves.。
那么，其他梯度期望这两个损失张量不被计算？并且没有更新张量？
浏览 31提问于2018-12-20得票数 1
我有一个Tensorflow 2.0 tf.keras.Sequential模型。现在，我的技术规范规定使用Levenberg-Marquardt优化器来适应这个模型。Tensorflow 2.0并不提供它作为一个现成的优化器，但它可以在模块中使用。
tfg.math.optimizer.levenberg_marquardt.minimize函数接受residuals (残差是返回张量的callable )和variables (对应于模型权重的张量列表)作为参数。
将我的模型转换为残差和变量的最佳方法是什么？
如果我正确理解minimize函数的工作原理，我必须提供两个残差。第一个残差必须
浏览 5提问于2019-10-25得票数 6
回答已采纳
工作在简单的softmax tensorflow分类与4个特征/输入和3个输出。
要保存结果:输入与预测输出与实际输出相比较，对所有张量执行tf.concat并打印(Tensor.eval())以检查结果。
在实际用例中，想知道哪些是检查结果的最佳方法，这些结果不是标量(因此，张量板标量不是选项)，而是not类型的结果。有什么工具可以用张量输出来绘制图？转储到文件(数据可能很大，很难分析)？转储到数据库？取决于实时需求，但寻找任何工具插件输出的tensorflow。
请分享你的想法。谢谢!
浏览 8提问于2017-04-14得票数 0
回答已采纳
假设我想计算两个张量之间的元素商。如果其中一个张量包含NaN，则生成的商也将包含NaN，这一点我是理解的。但是为什么在整个操作中梯度变得不存在呢？如何为非NaN条目保留渐变？
例如：
>>> x = torch.tensor([1.0, np.NaN])
>>> y = torch.tensor([2.0, 3.0])
>>> z = torch.div(y, x)
>>> z
tensor([2., nan])
>>> z.backward()
Traceback (most recent call l
浏览 71提问于2019-06-26得票数 -1
回答已采纳
1回答
我的问题是关于这个链接中的问题
据我所知，张量结构是以图像的梯度平方为元素的矩阵。
这个方程也可以在这个链接中找到。
我对梯度矩阵的平方有疑问。
问题I:当我取图像的梯度导数时，得到的结果又是一个具有图像维数的矩阵。现在，当我把矩阵平方，得到导数的平方，如上面的公式所示，我会有点困惑。我们该怎么做？(我使用的是Matlab符号，因为我对它们比较满意)
1) Ix_squared = Ixtranspose(Ix)；
或
2) Ix_squared = Ix.结式是Ix维数的矩阵。
(在每个索引上的像素值被乘以自身)
问题II:，wiki解释说张量结构A是一个对称的平方矩阵。这意味着，Ix和Iy
浏览 3提问于2014-07-11得票数 2
我想在Tensorflow中使用一个预先训练过的Pytorch模型，并且我需要将tensorflow张量转换为pytorch张量。但是，我不想将Py手电筒张量转换为numpy数组，并将其转换为tensorflow张量，因为我得到的错误是“您必须为占位符张量提供一个值”。当我制作图形时，我需要这个转换，这样tensorflow张量就没有价值了，并且不能转换为numpy！有什么解决办法吗？
浏览 5提问于2021-01-24得票数 2
回答已采纳
我正在为我的tensorflow工作区工作在一个单元测试系统中，我想知道是否有任何方法或属性，给出了一个带有优化器操作的图(在调用.minimize()之后)，以获得它正在优化的最终损失张量及其控制的变量。
例如，如果我调用train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)，我希望只检索只有访问train_op的cross_entropy。
我可以访问train_op对象，我只想知道它引用了哪些丢失，以及控制了哪些变量。
浏览 0提问于2018-01-23得票数 6
回答已采纳
我想用pytorch的自梯度系统得到参数的梯度。但是，我的代码无法生成渐变。我认为当我使用函数时，自动梯度会失败，但是当我不使用很多自定义函数时，它会太长。我应该如何更改这段代码？我的具体代码如下所示。谢谢
import torch as T
import numpy as np
n_qubits=6
device=T.device('cuda:0' if T.cuda.is_available() else 'cpu')
m=3
s=np.zeros((2**m,1))
s[0]=1
M=np.kron(np.identity(2**(n_qubits-m)
浏览 0提问于2021-07-05得票数 0
1回答
我试图用Word2Vec在暹罗LSTM网络()中的语句嵌入替换BERT的单词嵌入。然而，我的BERT嵌入是(1,768)形状的矩阵，而不是可以输入角层的张量。我想知道是否有可能改变它。
我找到了一种用通用语句嵌入()替换单词嵌入的方法--我尝试修改LSTM的代码，以使用来自以下服务()的BERT语句嵌入。
# Model variables for LSTM
n_hidden = 50
gradient_clipping_norm = 1.25
batch_size = 64
n_epoch = 25
def BERTEmbedding(x):
#x is an input ten
浏览 1提问于2019-07-12得票数 0
对于输入变量(例如，参见)，计算keras模型输出的梯度的标准方法似乎如下所示：
with tf.GradientTape() as tape:
preds = model(input)
grads = tape.gradient(preds, input)
然而，当输入张量很大时(例如，500个输入变量的一千万次观测)，这是极其慢的。上面的代码似乎根本不使用GPU。
当使用model.fit(input)对模型进行训练时，它运行在GPU上，尽管输入张量很大，但速度非常快。
有没有办法加快梯度的计算？
关于版本
我正在运行Python3.8和Tensorflow v2.9.1。
浏览 4提问于2022-08-22得票数 0
我对BPMN 2.0和XPDL格式有点困惑。它们是互补的，还是有着截然不同的目标？
BPMN < 2.0仅用于图形表示，而XPDL用于获取元素的图形表示/交互。
但是今天的BPMN 2.0满足了XPDL的所有要求吗？支持XPDL需要什么BPMN引擎
谢谢。
浏览 0提问于2014-06-23得票数 2
1回答
我是一个生手，我可能被一个相对琐碎的问题困住了，但目前还没有完全解决。
当计算张量的梯度时，我得到一个常数梯度为1。但是，一个常数的梯度不应该得到0吗？
下面是一个很小的例子：
import torch
x = torch.tensor(50., requires_grad=True)
y = x
y.backward()
print(x.grad)
#Ouput: tensor(1.)
为什么输出是1而不是0？
浏览 4提问于2022-09-19得票数 1
回答已采纳
在我的训练过程中，我倾向于使用很多对torch.cat()的调用，并将张量复制到新的张量中。autograd如何处理这些操作？梯度值是否受这些操作的影响？
浏览 17提问于2020-10-05得票数 1
我可以从看到下面的代码试图做什么。但来自sum的y=torch.sum(x**2)让我感到困惑。对于sum操作，y变成一个只有一个值的张量。我把.backward()理解为计算导数，为什么我们要使用sum并将y降低到一个值呢？
import pytorch
import matplotlib.pyplot as plt
x = torch.linspace(-10.0,10.0,10, requires_grad=True)
Y = x**2
y = torch.sum(x**2)
y.backward()
plt.plot(x.detach().numpy(), Y.detac
浏览 0提问于2019-08-02得票数 4
回答已采纳
1回答
我正在用Keras编写自定义层。但是“不可训练的重量”让我困惑。假设我有一个简单的图层，如下所示(它只做一件事，除以平均数)：
import tensorflow as tf
K = tf.keras.backend
class SharpeLayer(tf.keras.layers.Layer):
def __init__(self):
super(SharpeLayer, self).__init__()
def call(self, inputs):
return K.mean(inputs) / (K.std(input
浏览 2提问于2020-12-30得票数 0
2回答
(注:这不是一个反向传播问题。)我试图用PyTorch张量来代替Numpy数组来解决GPU上的非线性PDE问题。我要计算任意张量的偏导数，类似于中心有限差分函数的作用。我还有其他解决这个问题的方法，但是由于我已经在使用PyTorch，我想知道是否可以使用autograd模块(或者，一般情况下，任何其他的自动分化模块)来执行这个操作。
我已经创建了一个与张量兼容的numpy.gradient函数版本，运行速度要快得多。但也许有一种更优雅的方式来做到这一点。我找不到解决这个问题的任何其他来源，也无法证明这是可能的或不可能的；也许这反映了我对自微分算法的无知。
浏览 1提问于2019-07-29得票数 5
回答已采纳
1回答
有人能给出一个外行关于计算机视觉的术语流场特征的解释吗？我是从这个得到这个术语的。
我只能找到关于使用流场的人的信息，而不是关于他们是什么。
浏览 0提问于2015-07-09得票数 1
回答已采纳
我使用的是2017/18年度编写的代码库，我发现了以下代码：
audio_norm = audio_norm.unsqueeze(0)
audio_norm = torch.autograd.Variable(audio_norm, requires_grad=False)
我知道，Variable中的包装张量以前允许将它们的梯度合并到火炬以前版本的计算图中(现在不再需要)，但我不知道在torch.autograd.Variable(my_tensor, requires_grad=False)中包装张量的效用是什么。
有人能解释一下，这是否是一个成语，以及类似的现代火炬代码会是什么？我猜是在
浏览 7提问于2022-05-04得票数 1
回答已采纳
我试着把我的数据放到gpu上，但它不起作用； 在我的train.py if __name__ == '__main__':
ten = torch.FloatTensor(2)
ten = ten.cuda()
print(ten)
args = config()
train_net(args, args.train_net, loss_config=net_loss_config[args.train_net]) 当它运行时，它会打印以下内容 tensor([0., 0.]) 张量不在cuda上 但在test.py中 import torch
ten=torch.Floa
浏览 24提问于2020-03-28得票数 0
我正在使用tensorflow 2.2进行研究，并希望实现一个自定义层，它接受向量(张量)输入并输出向量(张量)。我的输入/输出关系很复杂，我需要创建一个函数来计算正向传递和梯度。我遇到了做这项工作的custom_gradient function。不幸的是，完全不清楚的是如何将其用于矢量或张量输入和输出。特别是，我不知道如何返回雅可比矩阵或其某种形式。 举个简单的例子，假设我的自定义层计算输入a和权重W(权重)的向量矩阵乘积。这就是我解决问题的方法(为了简单起见，跳过初始化权重、构建等步骤)。 @tf.custom_gradient
def custom_op(A,W): # A is
浏览 15提问于2021-09-09得票数 0
我非常理解Tensorflow中的变量概念(我想)，但我仍然觉得它们不是很有用。我读到它的主要原因是为了在以后恢复它们，这在某些情况下可能很方便，但是您可以使用numpy.save来保存矩阵和值，甚至将它们写到日志文件中。
变量用于保存张量，但是您可以使用Python变量来保存它们，从而避免了Tensorflow的变量额外包装。
当使用get_variable函数时，变量变得很好，因为代码将比使用字典存储权重干净得多，然而，就功能而言，我不明白为什么它们很重要。
我对TF变量的结论是，它们可以帮助我们编写更好的代码，但它们不是必需的。对他们有什么想法吗？
浏览 0提问于2018-01-01得票数 0
1回答
例如，我们有64*100个输入数据，这些数据将被发送到张量流图，它将在输入softmax或任何损失函数之前生成64*(n_hidden节点)输出。我们将1*100放入相同的图中，结果应该是先前输出的第一行，但结果不是。我在Mnist上使用张量流示例来测试这种比较。
'''
A Multilayer Perceptron implementation example using TensorFlow library.
This example is using the MNIST database of handwritten digits
(http://yann.le
浏览 0提问于2016-11-06得票数 0
在pytorch中，如果x是张量，x.detach().requires_grad_(True)和x.cpu()之间有什么区别？
他们是同一个行动吗？
浏览 5提问于2022-10-28得票数 0
我想为培训做以下几个步骤：
为线性: target=Weight *X创建一个张量
选择顶级目标值并删除所有其他示例。
得到相应的标签，也就是Y。
使用GradientDescentOptimizer，最小化和(Y)，得到拟合变量(W)
代码
from tensorflow.python.framework import ops
import numpy as np
import tensorflow as tf
sess = tf.Session()
X=tf.placeholder(shape=[None,2], dtype=tf.float32)
Y=tf.pl
浏览 1提问于2018-02-13得票数 0
回答已采纳
张量流C++ API支持自动微分向后传播梯度吗？
如果我用c++编写了一个图，并且想要在c++代码中运行它(不是用python!)自动分化会起作用吗？
让我们假设图中的每个op都有一个梯度实现。
我认为关于张量流C++ API能做什么和不能做什么的文档是非常糟糕的。
非常感谢你的帮助
浏览 2提问于2018-06-28得票数 2
回答已采纳
我有一个CNN架构，包括一些层--卷积、完全连接和反褶积-- (称为first process)。最后一个反褶积层给出了输出点，我需要用这个输出进行一些处理(用第二个进程调用它)，以得到Loss值。
在第二个进程中，我正在执行计算Loss值的tf.while_loop，因为Loss值是通过在tf.while_loop中的每个迭代中添加所有Loss值来实现的。在循环之前，我给出了用于tf.constant(0)初始化的Loss。
当我试图训练和最小化Loss时，它显示了No梯度在first process和损失张量输出之间的误差。
第二个进程如下所示：
loss = tf.constant(0)
浏览 0提问于2018-05-24得票数 0
回答已采纳
1回答
我正在使用自动编码器进行异常检测。因此，我已经完成了对模型的训练，现在我想计算数据集中每个条目的重建损失。这样我就可以将异常分配给重建损失较高的数据点。
这是我当前计算重建损失的代码，但这真的很慢。据我估计，通过数据集应该需要5个小时，而训练一个时期大约需要55分钟。我觉得转换到张量运算是代码的瓶颈，但我找不到更好的方法来做到这一点。
我尝试过更改批处理大小，但没有太大区别。我必须使用转换为张量部分，因为如果我正常操作，K.eval会抛出错误。
python
for i in range(0, encoded_dataset.shape[0], batch_size):
y_
浏览 79提问于2019-05-22得票数 1
回答已采纳
在tensorflow图的构造中没有出现错误，但是在tf.gradients图的计算过程中，我得到了一个形状不匹配的误差(我猜是在反向传播中)。
这是我得到的错误：
InvalidArgumentError (关于追溯，请参阅上文)：
输入整形是一个16777216值的张量，但所请求的形状有4096个。
[节点:渐变/truediv_grad/Reshape= Reshape]]
浏览 1提问于2018-03-17得票数 2
回答已采纳
我正在尝试实现一个嵌入层。嵌入将被初始化使用预先训练手套嵌入。对于在手套中可以找到的单词，它将是固定的。对于那些没有出现在手套中的单词，它将被随机初始化，并且是可训练的。我在丹索尔·弗洛怎么做？我知道有一个tf.stop_gradient作为一个整体张量，对于这种场景有什么stop_gradient api吗？或者，有什么解决办法吗？如有任何建议，将不胜感激。
浏览 6提问于2017-04-12得票数 3
回答已采纳
1回答
假设我们有一个卷积神经网络训练分类(w.l.o.g. )。灰度)图像，张量流。
给定经过训练的网络和测试图像，可以跟踪它的哪些像素是显着的，或“等效”哪些像素对图像的输出分类最负责。在这个中给出了Theano中一个很好的解释和实现细节。
假设对于与输入图像直接相关的第一层卷积，我们对每个卷积核wrt的参数都有梯度。分类函数。
如何将梯度传播回输入层，从而在图像的每个像素上计算偏导数？
传播和积累的梯度，将给我们突出的像素(他们是那些大的幅度导数)。
以求渐变wrt。到目前为止，第一层的内核是：
1. Replaced the usual loss operator with t
浏览 1提问于2016-06-29得票数 4
回答已采纳
1回答
我目前正在尝试在我的react-native应用程序中添加一个Dropbox文件上传系统。我已经创建了一个应用程序在Dropbox控制台与应用程序文件夹访问。当用户转到我的重定向URL时，我将借助从登录接收到的授权代码获取访问令牌。
await fetch(
`https://api.dropbox.com/oauth2/token?code=${code}&grant_type=authorization_code&client_id=${appKey}&redirect_uri=https://www.google.com/`,
reque
浏览 9提问于2021-07-14得票数 0
回答已采纳
有没有人有使用tensorflow估计器api进行混合精度训练的经验？ 我尝试将我的输入转换为tf.float16，并将网络结果转换回tf.float32。为了扩大损失，我使用了tf.contrib.mixed_precision.LossScaleOptimizer. 我收到的错误信息相对较少：“尝试将'x‘转换为张量但失败。错误:不支持任何值”，
浏览 18提问于2019-03-21得票数 1
2回答
我正在尝试丢弃一个片段，但我也希望能够将纹理上的颜色与纹理的其他部分进行比较。似乎如果碎片被丢弃，我就不能再检查纹理的那些区域了。我如何才能检查颜色，或者检查它是否被丢弃，这样它就不会检查，从而没有错误。
这里有一些代码来说明这个问题。
bool diagonal = (sS==0.0&&nS==0.0&&((cornerSign.x*cornerSign.y==1.0&&cC.rgb==cNW.rgb&&cNW.rgb==cSE.rgb&&((cNE.rgb!=cC.rgb&&corner
浏览 0提问于2015-12-02得票数 1
在我以前的中，我发现了如何使用PyTorch的自动梯度和张量：
import torch
from torch.autograd import grad
import torch.nn as nn
import torch.optim as optim
class net_x(nn.Module):
def __init__(self):
super(net_x, self).__init__()
self.fc1=nn.Linear(1, 20)
self.fc2=nn.Linear(20, 20)
浏览 5提问于2021-05-10得票数 6
回答已采纳
我有CNN模型训练使用Keras与Tensorflow后端。我想用这个教程来可视化我的CNN过滤器：
from keras import backend as K
from keras.models import load_model
import numpy as np
model = load_model('my_cnn_model.h5')
input_img = np.load('my_picture.npy')
# get the symbolic outputs of each "key" layer (we gave them
浏览 2提问于2018-04-15得票数 11
回答已采纳
1回答
在开始使用Tensorflow实现随机深度regularization方法时，我遇到了一个问题。本文()指出，如果在训练过程中随机丢弃一些残差，则该模型收敛速度更快。目前的火炬实现工作完美。在Tensoflow中，我可以在剩余的单元分支上设置条件，这样在前进的步骤中，它的激活将被取消，但是在后退的步骤中，权重仍然会被更新。没有办法知道这些权重(在我们取消的剩余分支中)不再是可训练的，并且它们不应该包含在当前会话运行的优化中。
我已经在github上创建了，在这里我讨论了如何以天真的方式解决这个问题，当然，在幕后有一些东西会阻止应用简单的修复，否则，tf.Variable的可训练参数不允许布尔张
浏览 2提问于2017-03-29得票数 0
回答已采纳
我有一个玩具强化学习项目，基于强化算法(这里的)，我想添加批量更新。在RL中，只有在“预测”完成之后才能创建“目标”，因此标准的批处理技术不适用。因此，我为每一集累积损失，并将它们附加到一个列表l_losses中，其中每个项目都是一个零维张量。我暂停调用.backward()或optimizer.step()，直到一定数量的剧集过去，以便创建一种伪批。
考虑到这个损失列表，如何让PyTorch根据其平均梯度更新网络？或者，基于平均梯度的更新是否与对平均损失的更新相同(我似乎在其他地方看到了其他情况)？
我现在的方法是从torch.stack(l_losses)创建一个新的张量torch.sta
浏览 17提问于2022-09-24得票数 3
回答已采纳
问题
使用Tensorflow的partial_run()方法不像我预期的那样工作。我使用它的底部提供的代码，我相信它是给我附加的错误。
数据的一般流程是，我需要从模型中得到一个预测，在某个非tensorflow代码中使用该预测(为软件合成器编程)，然后在播放midi音符后获得音频特征(MFCCS、RMS、FFT)，这个音符最终可以传递到成本函数，以检查预测的修补程序与重新创建所需声音的距离有多近，例如当前的例子。
代码-省略预处理
# Create the tensorflow graph.
dimension_data_example = generate_examples(1,
浏览 0提问于2017-02-28得票数 4
回答已采纳
我想知道是否有可能计算模型输出相对于模型参数的梯度。换句话说，我想计算dy / d theta。
这里有一个简短的例子，说明我的意思：
import keras
import tensorflow as tf
# Dummy input
test = np.random.rand(1, 32, 32, 1)
x = tf.placeholder(tf.float32, shape=(None, 32, 32, 1))
model = keras.layers.Conv2D(16, 5, padding = 'same', activation='elu')
浏览 2提问于2017-07-21得票数 1
回答已采纳
在我的模型中，我使用tf.keras.losses.MSE计算我的BATCH_SIZE x 256 x 256 x3输出和BATCH_SIZE x 256 x256 x3输入的均方误差。
此函数的(None,256,256).输出似乎是。
然后我使用tf.GradientTape.gradients，并将MSE 输出作为“目标”属性。在文档中，它说这个属性可以是张量。
我的理解是，损失是一个标量数，它与反向传播过程中的每个权重相区别。
因此，我的问题是：，当多维张量被传递到梯度函数时会发生什么？张量中所有元素的和是否简单计算？
我问这个问题是因为我的模型目前没有训练，每个时代的读数都是1.0。
浏览 1提问于2021-04-04得票数 0
回答已采纳
1回答
如何从二维数组(即结构张量场)计算结构张量？
我不知道我在执行过程中做错了什么。在我的例子中，2D数组是一幅二维灰度图像，下面是我使用C++和特征所做工作的一般概述：
// the 2D grey-scale image, represented by a 2D array of doubles
ArrayXXd img;
// compute the gradient vector field, which produces a 2D array of 2D vectors
typedef Array<Vector2d, Dynamic, Dynamic> ArrayXXv2;
浏览 5提问于2013-05-29得票数 1
8回答
考虑到。
我想知道如何在RNN上应用梯度剪裁，如果存在爆炸梯度的可能性。
tf.clip_by_value(t, clip_value_min, clip_value_max, name=None)
这是一个可以使用的例子，但我在哪里介绍呢？在RNN的发展
lstm_cell = rnn_cell.BasicLSTMCell(n_hidden, forget_bias=1.0)
# Split data because rnn cell needs a list of inputs for the RNN inner loop
_X = tf.split(0, n_st
浏览 21提问于2016-04-08得票数 115
回答已采纳
我使用(tf.vars是可训练的张量列表)计算梯度。
x = tf.gradients(y,tf.vars)
现在假设我想使用optimizer.apply_gradients应用这个梯度，那么我需要给出一个包含(梯度，变量)形式的元组的列表。如何生成这样的列表？
optimizer.apply_gradients(??)
空间里有什么?？
浏览 0提问于2017-09-15得票数 1
回答已采纳
我的理解是host_call和host_call_fn()将统计数据从TPU传输到主机。然而，对于如何生成非标量的摘要，说明并不是很清楚。
例如，我尝试修改官方mnist_tpu.py以生成训练期间产生的渐变的摘要。model_fn()是添加更改的位置：
...
optimizer = tf.train.GradientDescentOptimizer(learning_rate=learning_rate)
if FLAGS.use_tpu:
optimizer = tf.contrib.tpu.CrossShardOptimizer(optimizer)
grads = optimi
浏览 0提问于2018-05-16得票数 0
背景
在Tensorflow 2中，存在一个名为GradientTape的类，它用于记录张量上的运算，其结果可以被区分并输入到某种极小化算法中。例如，我们有一个例子：
x = tf.constant(3.0)
with tf.GradientTape() as g:
g.watch(x)
y = x * x
dy_dx = g.gradient(y, x) # Will compute to 6.0
用于gradient方法意味着第一个参数不仅可以是张量，还可以是张量列表：
def gradient(self,
target,
浏览 8提问于2020-03-13得票数 4
回答已采纳
我有以下问题，我有四个嵌入矩阵，我想得到关于这些矩阵的损失函数的梯度。
当我运行会话来返回梯度的值时，其中两个返回的对象是tensorflow.python.framework.ops.IndexedSlicesValue，类型的，另外两个是numpy数组。现在对于numpy数组，它们的形状对应于它们相应的嵌入矩阵的形状，但是我在IndexedSlicesValue对象上遇到了问题。
如果对其中一个对象调用.values，则得到一个形状与梯度不匹配的数组，嵌入矩阵的形状为22,30，但对IndexedSlicesValue对象调用.values，则得到一个具有形状的数组。IndexedSlic
浏览 9提问于2016-04-12得票数 6
所以我有一个名为W的tf.Variable()，它属于shape=[1]。
我知道tf.hessians(loss, W)不等于tf.gradients(tf.gradients(loss, W), W)，尽管它应该是一样的:二阶导数。
这里是代码的一个小要点，如果我试图用双梯度替换Hessian：，但我观察到如果我使用双梯度，结果不收敛。
浏览 16提问于2017-07-30得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
