1回答
我正在寻找一种有效的方法来计算每个样本定义的维度(b X C X H X w)的\hat{x}： ? 其中x是由具有参数\θ的模型生成的相同维度的输出，以及 i，j:索引2D输出特征图的高度和宽度 k:对通道维度进行索引 l:对参数进行索引。 如何使用x.backward()完成此操作？如果我做了x.backward(torch.ones_like(x))，我会计算上面方程中梯度的和，而不是它们绝对值的和。 使用暴力的方法是遍历输出映射中的每个像素</em
浏览 27提问于2019-09-25得票数 0
1回答
我试图在一个简单的神经网络(一个隐藏层)的第一层上实现L1正则化。我查看了一些关于StackOverflow的其他文章，这些文章使用Pytorch应用l1正则化来确定应该如何做(参考文献：、)。无论我增加多高的lambda ( l1正则化强度参数)，我都不会在第一个权重矩阵中得到真零。为什么会这样？
浏览 0提问于2018-04-27得票数 6
回答已采纳
1回答
假设我有一个训练用于分类不同动物图像的CNN，这种模型的输出将是n空间维中的一个点(输出点)，其中n是模型所训练的动物类的数量；然后将输出转换成n参数的一个热向量，然后从CNN的角度给出图像的正确标签，那么，假设我想把这个点转换成这样，最后的输出是一个有约束宽度和高度的图像(不同的输入图像的尺寸应该是相同的)，它输出与输入图像相同的点，我怎么做呢？我基本上是在询问用于这种任务的方法(主要是训练)，在这种任务中，必须根据CNN -I的输出</em
浏览 1提问于2017-03-28得票数 1
回答已采纳
我正在尝试实现一个版本的差分私有随机梯度下降(例如，)，如下所示：x # inputs with batch size L
y #
浏览 0提问于2018-12-16得票数 5
2回答
图像梯度大小的单位和界限是什么？例如，我知道如何获得图像的梯度大小(见下文)。得到的Mat将包含我的源图像中每个边缘的边缘强度(大小)。
但是，“边缘强度/震级”的单位是什么？梯度方向是度/弧度单位，星等在什么单位？OpenCV的震级有什么限制？它是0到1吗？(边的强度/大小在0到1之间，其中1是完全垂直的？)所以，如果我要在一幅历史图中画出星等，x轴代表边缘强度/陡度，y n轴代表具有这种强度/陡度的像素数？我说的对吗
浏览 4提问于2017-05-20得票数 1
回答已采纳
在这个中，如果你向下滚动到训练循环，你可以看到它们像这样组合了梯度errD = errD_real + errD_fake。我想做同样的事情，但在向后传递之前，我想将两个梯度归一化为两个梯度的较低欧几里德范数。我该怎么做呢？我知道我可以通过打印netD.weight.grad在netD上单独获取每个权重的梯度，但是有什么方法可以将它们批量范数到两个权重的较低欧几里德范数吗？
浏览 0提问于2019-09-14得票数 0
1回答
SIFT功能描述符实现
、、、
根据Lowe关于原始SIFT算法的论文，从16 x 16窗口计算出由4 x 4方向直方图组成的特征描述符。描述符的比例仅用于选择图像的高斯模糊级别。for( k = 0; k < len; k++ ) // histogram update其中len是使用的样本数。在OpenCV实现中，len取决于描述符的大小。谢
浏览 2提问于2015-03-10得票数 0
在Tensorflow中，我们可以使用compute_gradients的优化器来获得梯度并将其添加到中。在Tensorboard中，我们可以在DISTRIBUTIONS选项卡中观察到梯度的范围。然后在使用clip_value时，我们可以确定的范围。
另一方面，如何在clip_norm板中计算/显示范数或全局范数，以确定其值。
浏览 1提问于2018-04-12得票数 1
回答已采纳
1回答
我想根据损失函数w.r.t的梯度值实现一个停止条件。重量。break
我不确定应该将什么传递给sess.run()，以便得到输出的梯度(除了我需要的所有其他东西)。我甚至不知道这是否正确的做法，还是我应该采取不同的做法。我做了一些尝试，但每次都失败了。尽管如此，我仍然不知道如何规范和求和所有的梯度。由于我的CNN中有不同的层和不同形状的不同权重，如果我按您的建议做，那么add_n()操作就会出错(因为我试图将不同形状的矩阵相加在一起)。
浏览 3提问于2016-06-29得票数 3
回答已采纳
通常，我们在Tensorflow中采用的矩阵范数是Frobenius范数，它易于计算，易于理解，例如Bayesian观点。但在许多情况下，这是最大的单一价值问题。在Tensorflow中优化是可能的吗？这取决于tensorflow能否对矩阵2-范数采取梯度。
浏览 1提问于2018-11-15得票数 0
1回答
我目前正在学习PyTorch，以便利用它的开源自动评分功能，作为我自己的练习，我想实现一个简单的优化算法，我已经在MATLAB中实现了这个算法。具体地说，我想做一个相同的优化循环，用Torch的自动梯度功能替换我自己的梯度计算。换句话说，我想在PyTorch中执行与上面完全相同的算法，只是简单地使用PyTorch的自动梯度功能来计算梯度，而不是自己计算梯度
浏览 7提问于2020-12-01得票数 0
1回答
我用PyTorch训练了一个MNIST神经网络： def __init__(self): x = self.dropout(x)我想在我的模型上实现香草梯度可视化Visualising image classification models and saliency maps.
arXiv preprint arXiv:1312.6034 (2
浏览 1提问于2022-02-14得票数 1
回答已采纳
2,3)>>>tensor([[0.5164, 0.3651, 0.0882],我正在遵循对规范的介绍，并希望在PyTorch中尝试。实际上，范数是从向量空间原点到曼哈顿距离的计算。”
print(torch.linalg.norm(t, dim=1))
>>&
浏览 6提问于2021-07-22得票数 2
回答已采纳
2回答
为了正则化的目的，我希望通过奇异值分解来反向传播梯度。PyTorch目前不支持通过奇异值分解进行反向传播。我知道我可以编写自己的自定义函数来操作变量；获取它的.data张量，对其应用torch.svd，将变量包装在它的奇异值周围，并在向前传递中返回它，然后在向后传递中将适当的雅可比矩阵应用于传入的梯度。
浏览 5提问于2017-06-29得票数 10
1回答
在培训了我的新模型后，我将其保存如下：siamese_model_json = siamese_network.to_json但是，如果我将我的模型训练18个时期(因为我有一台非常慢的计算机，这需要5-6个小时)，我只看到NaN值如下： [array([nan, nan, nan, nan, nan
浏览 0提问于2018-07-11得票数 0
回答已采纳
1回答
当我们讨论pytorch中的自微分时，我们通常会根据张量的公式得到张量的图形结构，pytorch将通过使用链规则跟踪图形树来计算梯度。但是，我想知道在叶节点上会发生什么？pytorch是用解析导数硬编码整个基本函数列表，还是使用数值方法计算梯度？return x ** 2y = f(x)print(x.grad) #
浏览 19提问于2020-07-22得票数 3
我不理解代码"because weights have requires_grad=True, but we don't need to track this in autograd"中第60-61行中的注释我知道我们提到的变量是requires_grad=True，我们需要这些变量来计算使用自梯度的梯度，但是成为"tracked by autograd"意味着什么呢？
浏览 0提问于2018-06-05得票数 67
回答已采纳
我目前正在用Py火炬构建一个需要多个自定义层的模型。我只定义了前向方法，因此不定义向后方法。模型似乎运行良好，并且优化器能够使用来自层的渐变来更新。然而，我看到许多人定义了向后的方法，我想知道我是不是遗漏了什么。
浏览 2提问于2020-12-23得票数 2
回答已采纳
1回答
我写这封信是因为我要应付以下情况:在训练期间，我需要一个在pytorch的前向函数中的for循环。self.netFeaturesExtractor(ima) id_stack += 1 param.requires_grad = freeze
我的
浏览 1提问于2022-06-28得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
