1回答
时间反向传播中的多个不匹配矩阵
、、、、
我已经解决了一个用Python实现它的问题，所以我决定在那里分享我的问题，以提出解决它的想法。在我的notebook code (时间反向传播)部分可以看到，有一个类似下面的链式规则来更新输入权重矩阵，如下所示： ? 我的问题是这一部分： ? 我试图在我的Python code或notebook code (class input_layer，backward方法)中实现这一部分，但是
浏览 25提问于2020-04-19得票数 1
2回答
反向传播中的矩阵尺寸不匹配
、、、、
在这里，我试图实现一个带有单个隐藏层的神经网络来对两个训练示例进行分类。该网络利用乙状结肠激活功能。层数、尺寸和重量如下：w1 : 2X3w2 : 2X4我正在经历一个问题，在反向传播中，矩阵维度是不正确的。forwardProp()
如何计算前一层的错误re
浏览 2提问于2017-12-16得票数 6
回答已采纳
1回答
在CNN中，卷积运算将核矩阵‘卷积’在输入矩阵上。现在，我知道了完全连接层是如何利用梯度下降和反向传播进行训练的。但是内核矩阵是如何随时间变化的呢？也提出了类似的问题，但没有得到回答。
浏览 17提问于2018-08-20得票数 6
回答已采纳
1回答
对于skip-gram模型，出于训练目的，输入是一个单词(one-hot表示)，输出是它的上下文单词(多个one-hot表示)。由于input是独热的，所以input (size |V|) x M的结果是一个大小为|V|的向量，它是单词向量矩阵的一行。我的问题是:当我们运行反向传播时，似乎只更新了单词向量矩阵的行。如果是这种情况，假设我们逐对训练模型对(A，B)，(A，C)，(A，
浏览 3提问于2017-03-07得票数 0
1回答
倒推误差对排样矩阵的影响
、、、、
我了解神经网络的反向传播算法，以及误差如何在层中向后传播。也就是说，我知道，给定一个3层的前馈网络，改变W1的数量取决于第2层和第3层的权重，以及它们激活函数的导数。问:当您的第一层是嵌入层(即，考虑使用手套初始化嵌入矩阵)，网络如何使用反向传播更新该矩阵？如何将该层表示为一个由输入和一些权重矩阵组成的方程？
浏览 0提问于2018-06-12得票数 3
回答已采纳
我有个关于神经网络反向传播的问题。假设我们有一个经过训练的DNN来处理一些数据。然后，我们将一个损坏的数据输入到NN中，并将错误反向传播，而不是直到第一个隐藏层，而是直到输入层(也就是说，我们计算输入神经元的增量)。错误项是否显示了“干净”和“损坏”向量之间的不匹配？
浏览 5提问于2014-08-02得票数 3
回答已采纳
我正在实现一个自定义CNN与它的一些自定义模块。我只实现了自定义模块的前向传递，并将它们的后向传递留给了autograd。我已经通过自定义模块的参数手动计算了反向传播的正确公式，我希望查看它们是否与autograd内部用于计算梯度的公式匹配。有没有办法看到这一点？谢谢 编辑(添加测试用例) :- 我有一个复数仿射层，其中权重和输入是复值矩阵，操作是权重和输入矩阵的矩阵</e
浏览 45提问于2020-09-11得票数 1
2回答
我对自动微分的内部工作原理还很陌生，我读过一些论文和幻灯片，它们指出，使用自动微分可以在线性时间内计算向量雅可比乘积。专门写的：可以对O(N)中的任何e进行计算。雅可比矩阵是N-by-N。我认为它是N^2，但我不完全理解自动微分如何降低时间复杂度。
浏览 14提问于2020-04-28得票数 0
1回答
调试神经网络
、、、、
我一直试图故意过拟合，以确保它实际上是工作的，但它在MNIST上不会这样做，这表明设置中存在深层次的问题。我已经使用梯度检查检查了我的反向传播实现，它似乎是匹配的，所以不确定错误在哪里，或者现在要做什么！我一直在尝试用Numpy做一个神经网络，基于这样的解释： Back
浏览 29提问于2017-02-09得票数 12
1回答
假设有两层网络-> Output (N*C matrix)
当我试图计算反向传播中的导数时在我看来，W2的导数应该是H_C矩阵。然后计算出ReLU的局部导数，它应该是一个N_H矩阵(与ReLU的输入相同)。ReLU的最后导数应为N*H * H_C = N_C<e
浏览 1提问于2017-08-09得票数 1
回答已采纳
1回答
我试图理解损失函数和反向传播之间的联系。据我所知，在LSTM算法中，反向传播被用来获取和更新矩阵，在前向传播中使用偏差来获取当前的单元和隐藏状态。损失函数取训练集的预测输出和实际输出。但哪一部分是LSTM的培训部分？它们之间有某种联系吗？LSTM模式的培训目标是什么？
浏览 0提问于2019-08-31得票数 0
1回答
LSTM NN:前向传播
、、、
我有前向传播working...but，我有几个关于前向传播中的移动部分的问题，在经过训练的模型、反向传播和内存管理的上下文中。我的问题是第四部分：
1) 为了保留合理的长期记忆，我需要向后传播多长时间？<code>e 218</code>(其中C_t是单元状态，h_t是LSTM网的最终输出)，在这种情况下，我需
浏览 3提问于2016-01-05得票数 1
回答已采纳
我正在研究神经网络和反向传播的方程，我在方程中看到了这个符号，⊙。我认为神经网络的矩阵乘法总是涉及到两边匹配维数的矩阵。邮箱：3，3@3，2。(这就是动画片中发生的事情)。神经网络的哪个部分使用Hadamard积，哪个部分使用Kronecker积？因为我在论文和深度学习材料中看到了哈达玛产品(⊙)的这个符号。
📷
浏览 0提问于2020-06-11得票数 5
回答已采纳
1回答
PyTorch是否支持类似dict的对象，通过这些对象我们可以反向传播梯度，比如PyTorch中的张量？
我的目标是计算一个大型矩阵中的几个元素(1%)的梯度。但是如果我使用PyTorch的标准张量来存储矩阵，我需要将整个矩阵保存在我的GPU中，这会导致由于在训练期间可用的GPU内存有限而造成的</em
浏览 6提问于2022-03-08得票数 2
1回答
我有一个AI项目，它使用了反向传播神经网络。目前，已经完成了10000多个历元，每个历元几乎需要0.5秒。
如果我离开很长一段时间，如何知道神经网络是否可以成功训练？(或者它不能训练得更
浏览 1提问于2012-01-20得票数 3
回答已采纳
我正在使用neurondotnet库进行ANN编程，我的输入层向量是400，我的输出层向量是5，我的学习样本只有28。我的问题是，我不知道如何选择我应该有多少隐藏层和他们的向量的大小。有谁能给我指引正确的方向吗？谢谢。
浏览 0提问于2009-12-29得票数 2
回答已采纳
1回答
在pytorch中，我训练RNN/GRU/LSTM网络，方法是启动反向传播(通过时间)：当序列很长时，我希望通过时间进行截断的反向传播，而不是使用整个序列的时间进行正常的反向传播但是，我在Pytorch中找不到任何参数或函数来设置截断的BPTT。我错过了吗？我应该自己在毕道尔
浏览 3提问于2018-12-24得票数 6
在这篇演讲中，他说，在一开始，人工神经网络中人工神经元之间的连接是随机初始化的。因此，网络进行随机预测。此外，我还从网上的一些讲座中了解到，神经元之间的连接(权重)存储在矩阵中。问题
所以我的
浏览 1提问于2019-12-13得票数 3
1回答
我试图使用批处理从头开始反向传播，但我在计算dx时遇到了问题。the output nodes
dx - The derivative of x 我知道这是x的导数如果我使用上面的公式，我会得到(x，batches)或(2，5)的形状。在使用上面的公式得到dx (导致形状为(2，1))后，我是否会对最后一个维度进行求和？下面是使用虚构的值表示的点积： w.T
浏览 30提问于2021-07-29得票数 0
回答已采纳
1回答
背靠背坡度维数的实际理解
、、、
我编写了这段实现线性(1，1) ->线性(1，1) -> MSE向前/后传递的torch代码：l2 = torch.nn.Linearl2(l1_o)optimizer_l1.zero_grad()loss.backward()----------------------
l1_grad tensor([
浏览 5提问于2022-06-20得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
