是否全局禁用梯度和向后？
全局禁用梯度和向后是指在深度学习模型训练过程中，禁止梯度计算和反向传播的操作。这种操作通常用于特定场景下，例如模型的参数已经固定，不需要再进行更新，或者需要手动计算梯度等情况。
禁用梯度和向后可以通过以下方式实现：
- 在代码中设置参数的
requires_grad属性为False，这样就可以禁用该参数的梯度计算和反向传播。例如，对于PyTorch框架，可以使用torch.no_grad()上下文管理器来禁用梯度计算。 - 使用特定的优化器，如
torch.optim.SGD的zero_grad()方法可以将所有参数的梯度置零，从而达到禁用梯度的效果。
禁用梯度和向后的应用场景包括但不限于：
- 推理阶段：在模型已经训练好并部署到生产环境中时，不再需要计算梯度和进行反向传播，此时可以禁用梯度和向后，以提高推理效率。
- 参数固定：当模型的某些参数已经固定，不需要再进行更新时，可以禁用这些参数的梯度计算和反向传播，以减少计算开销。
- 梯度计算定制化：有时候需要手动计算梯度，而不是使用自动求导功能，此时可以禁用梯度和向后，然后手动计算梯度。
腾讯云提供了丰富的云计算产品和服务，其中与深度学习相关的产品包括腾讯云AI Lab、腾讯云AI 机器学习平台等。您可以通过访问腾讯云官方网站（https://cloud.tencent.com/）了解更多关于这些产品的详细信息和使用指南。
相关·内容
我对毕道尔来说是新手，我试图做一些重要的抽样实验:在一个评估时期，我计算每个训练样本的损失，并得到这个训练样本的梯度之和。最后，我将根据他们引入的梯度对训练样本进行排序。例如，如果样本A显示一个很高的梯度和，它必须是一个重要的样本训练。否则，它不是一个非常重要的样本。
请注意，此处计算的梯度将不用于更新参数。换句话说，它们只用于选择重要样本。
我知道梯度将在loss.backward()之后的某个地方做好准备。但是，在整个模型中，最简单的方法是获取累计的梯度吗？在我目前的实现中，我只允许修改一个小模块，只有可用的损失，所以我没有“输入”或“模型”。是否有可能只从“损失”中得到梯度？
浏览 5提问于2022-01-07得票数 0
回答已采纳
我最近使用D-X-Y C++实现()训练了一个更快的R-CNN模型。为了节省训练时间，我通过设置lr_mult = 0冻结了较低(共享)的卷积层。我比较了使用冻结层和不使用冻结层的迭代时间，发现没有显著差异。在Caffe中，是否仍然计算lr_mult = 0的这些层的渐变？
浏览 1提问于2018-04-18得票数 3
1回答
我试图访问DistilBERT中关于第一层中每个注意权重的损失梯度。当requires_grad=True时，我可以通过以下代码访问输出权重矩阵的计算梯度值
loss.backward()
for name, param in model.named_parameters():
if name == 'transformer.layer.0.attention.out_lin.weight':
print(param.grad) #shape is [768,768]
其中model是加载的蒸馏器模型。我的问题是，如何获得有关SEP或CLS或其他标记的注
浏览 1提问于2020-04-20得票数 0
回答已采纳
1回答
多层神经网络的反向传播
、、、
我正在用c#制作一个不用任何库或Accord.Net的神经网络系统。但我在如何支持我的错误上陷入困境。我是否必须包括我已经传播到下一层的所有层，还是只有前一层在等式中得到？
编辑以获取更多信息：
我的网络结构大多是动态的。它创建了一个用户输入的神经网络，每层有多少层和节点数。它根据所使用的数据集创建输入和输出层。它可以在层上使用线性、乙状结肠、tanh或relu激活函数，并且可以在每一层混合它们。
我理解反向传播是如何运作和使用的。但是我看到的每一个例子都只在三个层次结构上使用，其中有一个输入，一个隐藏和一个输出层。它们计算输出层误差并更新其权重。然后计算包含输出层的隐层误差。
我的问题从这里
浏览 1提问于2018-06-20得票数 2
回答已采纳
2回答
为了正则化的目的，我希望通过奇异值分解来反向传播梯度。PyTorch目前不支持通过奇异值分解进行反向传播。
我知道我可以编写自己的自定义函数来操作变量；获取它的.data张量，对其应用torch.svd，将变量包装在它的奇异值周围，并在向前传递中返回它，然后在向后传递中将适当的雅可比矩阵应用于传入的梯度。
然而，我想知道是否有一个更优雅(也可能更快)的解决方案，我可以直接重写"Type Variable etc implement stateless method svd“错误，调用Lapack，等等？
如果有人能指导我完成适当的步骤和我需要查看的源文件，我将不胜感激。我认为这些步骤也
浏览 5提问于2017-06-29得票数 10
我是一名学生，同时也是Python和PyTorch的初学者。我有一个非常基本的神经网络，我遇到了上述的RunTimeError。再现错误的代码如下：
import torch
from torch import nn
from torch import optim
import torch.nn.functional as F
import matplotlib.pyplot as plt
# Ensure Reproducibility
torch.manual_seed(0)
# Data Generation
x = torch.randn((100,1), requires_gr
浏览 1提问于2020-04-03得票数 2
回答已采纳
我试图使用Python3.x和PyCharm创建梯度下降。代码并不优雅，但它做到了--它是工作的。但是在运行了几次之后，" for“循环停止了工作。我认为这可能是内存问题或类似的问题，但如果是的话，我不知道如何解决它。
thrust_forward()
thrust = neu['d']
thrust_new = 0
def back_and_forward():
randomize_steps_effect()
thrust_backward()
thrust_forward()
global thrust_new
浏览 4提问于2017-11-03得票数 0
回答已采纳
1回答
使用tensorflow keras时，如果我使用batch_size=8，并使用带有4个GPU的tf.distribute.MirroredStrategy()，对于训练中的每个步骤，它是否有(1) 8批，其中每个GPU有2批或(2) 4x8批，其中每个GPU有8批
我想这是第二种情况。如果我错了，请纠正我。如果是第二种情况，如何跨GPU计算梯度？通过简单的平均值？这是否意味着使用batch_size=8的4个GPU的算法和精度相当于使用batch_size=32的单个GPU？当然，训练时间会有所不同。
谢谢你的帮助。
浏览 0提问于2020-05-08得票数 2
我喜欢caffe，但是gpu内存caffe的使用量大于mxnet(我用memonger在ResNet-50中进行测试)。是否有任何想法，方向或替代定制caffe为我减少gpu内存caffe使用量。想法和方向已经足够了，我将尽量详细地加以落实。
浏览 3提问于2016-09-17得票数 2
回答已采纳
2回答
我开始学习PyTorch，我对一些东西感到困惑。据我所知，如果我们将.requires_grad_()设置为我们的参数，那么找到这些参数的梯度所需的计算将被记录下来。这样，我们就可以进行梯度下降。然而，梯度值将是在以前的梯度值之上添加，因此在执行梯度下降步骤之后，我们应该使用param.grad.zero_()重新设置梯度，其中param是一个权重或偏倚项。我有一个只有输入层和一个输出神经元的模型，所以非常简单的东西(因为我只有一个输出神经元，你可以说我只有两个可能的类)。我的参数名为weights和bias，我在这两个变量上设置了requires_grad_()。此外，我还将我的培训数据放在
浏览 9提问于2022-03-20得票数 1
回答已采纳
2回答
我在中找到了一行代码
out_a, out_p, out_n = model(data_a), model(data_p), model(data_n)
正如您所看到的，forward()函数在backward()之前被多次调用，在我的测试中，GPU消耗将相应增加，因此GPU内存泄漏会发生。这里的问题是：
如何解决这个问题？
是否可以使用模型作为这三个连续调用的纯特征提取器(当然，经过一些修改)，然后在第四个调用中，使用它作为forward()，如果“是”，如何实现它？
浏览 0提问于2018-10-29得票数 0
3回答
我对自动梯度算法有很好的理解，我认为我应该了解PyTorch中的源代码。然而，当我在GitHub上看到这个项目时，我对它的结构感到困惑，因为很多文件都包含自动梯度。那么，哪一部分是自动毕业最重要的核心代码呢？
浏览 5提问于2017-11-28得票数 3
回答已采纳
Tensorflow API用于，比方说，当我们向输入张量提供一个小批量大小的数据时，GradientDescentOptimizer已经实现了小批处理吗？
我正在读这个，它表明小型批处理不是在minimize方法中实现的，我们必须先做compute_gradients，然后积累梯度，最后做apply_gradients来完成小型批处理的训练。
def train_standard(opt_type, learning_rate, image_set):
# Arrays for logging accuracy and loss
acc_log = np.zeros(len(image_s
浏览 1提问于2018-10-26得票数 2
回答已采纳
1回答
如何将神经网络训练成小型批次？
、、、、
我目前正在C++中从头编程一个神经网络。
现在，我正在将批处理逻辑添加到程序中，我对它的工作方式感到有点困惑。
所以，假设我有1000个数据样本，我把它分成10个。在一个训练时期，我会给它提供10个数据样本，然后，再进行一次唱歌的反向传播。如何计算反向传播的误差？我能把它的猜测平均下来，然后使用这组值吗？
因为通过反向传播并改变它的权重取决于神经元的当前激活，所以我是否只使用最后一组数据中的值？还是我想错了，我确实在批中的每一个数据后向后传播，但只在之后调整权重？
下面是我用于更新隐藏层的功能：
void Layer::BackProgagate(Layer* previousLayer, L
浏览 4提问于2022-03-16得票数 0
在运行代码片段(PyTorch 1.7.1；Python3.8)时，
import numpy as np
import torch
def batch_matrix(vector_pairs, factor=2):
baselen = len(vector_pairs[0]) // factor
split_batch = []
for j in range(factor):
for i in range(factor):
start_j = j * baselen
end_j = (j+1) * b
浏览 3提问于2021-09-26得票数 1
1回答
例如，一个使用MNIST数据集，并将所提供的大小为60,000的培训数据拆分为一个培训集(50,000)和一个验证集(10,000)。所提供的大小为10,000的测试数据用作测试集。ML算法是一种神经网络。
培训集由下面的代码(小批处理)处理。首先，将梯度设置为零。然后对模型进行了预测，并计算了损失。然后，计算梯度，并通过反向传播更新权重。
def train(data, label):
model.zero_grad()
prediction = model(data)
loss = loss_function(prediction, label)
loss.
浏览 0提问于2021-02-03得票数 0
回答已采纳
上下文：
在中，任何一种Tensor都是一种特殊的Tensor。当Parameter被指定为属性时，它会自动注册到模块的parameters()方法中。
在培训期间，我将把m.parameters()传递给实例，以便更新它们。
问题：对于内置的pytorch模块，如何防止某些参数被优化器修改？
s = Sequential(
nn.Linear(2,2),
nn.Linear(2,3), # I want this one's .weight and .bias to be constant
nn.Linear(3,1)
)
浏览 0提问于2019-05-02得票数 0
回答已采纳
1回答
在Mac上的浏览器中，可以向上滚动到顶部，向下滚动到body元素的底部。在每一种情况下，内容都会截取回来，但是有一段时间(由于滚动的势头)，您可以看到页面顶部/底部最上面/下面的部分主体背景颜色。
此元素的颜色由Chrome/Safari/FF中的人体背景色值设置。
可以在视口上方和下面设置不同的颜色吗？，例如，白色上方，下面是黑色。
我很肯定这是我们无法控制的--因为技术上来说，这个区域是在视野之外--但我很想听听是否有人能为我提供帮助。
浏览 2提问于2015-11-07得票数 5
4回答
当我们用PyTorch定义我们的模型时。我们运行不同的#epochs。我想知道在时代的迭代中。以下两段不同顺序的代码段之间有什么区别？这两个片段版本是：
我在教程上找到了
我的主管为项目提供的代码。
教程版本
for i in range(epochs):
logits = model(x)
loss = loss_fcn(logits,lables)
loss.backward()
optimizer.step()
optimizer.zero_grad()
主管版本
for i in range(epochs):
lo
浏览 11提问于2022-05-16得票数 2
1回答
“优雅不会被更新，而是会被累积起来，并且更新每一个N个圆。”我有一个问题，梯度是如何在下面的代码片段中累积的:在下面的每一轮循环中，我都可以看到一个新的梯度是由loss.backward()计算的，并且应该在内部存储，但是这个内部存储的梯度会在下一轮刷新吗？如何对梯度进行求和，以后每N轮加一次？
for i, (inputs, labels) in enumerate(training_set):
predictions = model(inputs) # Forward pass
loss = loss_function(predict
浏览 2提问于2021-03-20得票数 0
回答已采纳
1回答
我试着理解LSTM和LSTM的反向传播。我有一个简单的建筑。
def __init__(self, input_dim=100, hidden_dim=100, output_dim=216, num_layers=2):
super(LSTMGenerator, self).__init__()
self.input_dim = input_dim
self.hidden_dim = hidden_dim
self.output_dim = output_dim
self.num_layers = num_layers
self.layer1
浏览 8提问于2021-12-10得票数 0
如果我正在处理1700个数据，那么两层神经网络的批次大小和时间大小应该是多少？我也想知道关于neurons.how来确定号码？？
浏览 0提问于2020-12-27得票数 1
我使用torch.autograd.grad()函数来计算两个损失函数的梯度(用于平衡这两个损失的权重)，
loss1_grads = torch.autograd.grad(loss1, model.parameters(), retain_graph=True)
loss2_grads = torch.autograd.grad(loss2, model.parameters(), retain_graph=True)
.....
loss = loss1+alpha*loss2#alpha related to loss1_grads and loss2_grads
loss.back
浏览 4提问于2022-10-25得票数 -1
2回答
在CNN中使用反向传播来更新随机分配的权重、偏差和滤波器。对于值的上升，我们从端到尾用链规则求出梯度，并使用该公式，
New Value = old value - (learning Rate * gradient)
梯度下降是一个优化器，用于优化损失函数。这里还计算了梯度，公式是
New value = old value - (learning Rate * gradient)
如果我在上面给出的解释是错误的，请纠正我。
我的怀疑是：
的反向传播和梯度下降都使用相同的逻辑吗？是否与梯度下降有什么关系?
浏览 5提问于2021-02-15得票数 2
我已经在这个.csv文件中提供的数据上训练了一个多元线性回归模型：我训练它(梯度下降)如下：
alpha = 0.1
rd: int = 0
while epoch <= 4000:
rd = 0
epoch += 1
print("Epoch: "+str(epoch))
while rd <= 48894:
expected_y: float = x1a[rd] * w[0]
expected_y += x1b[rd] * w[1]
expected_y += x1c[rd] * w
浏览 0提问于2019-10-19得票数 0
假设我有我的自定义损失函数，我想用我的神经网络拟合一些微分方程的解。因此，在每一次向前通过时，我都是计算我的神经网络的输出，然后用期望的方程来计算损失，这是我想要拟合我的感知器。
现在我的疑问是:我是应该使用grad(loss)，还是应该使用loss.backward()进行反向传播来计算和更新渐变？
我理解在使用loss.backward()时，我必须用变量包装我的张量，并且必须为变量w.r.t设置requires_grad = True，我想取损失的梯度。
所以我的问题是：
computation?How grad(loss)是否还需要任何这样的显式参数来识别梯度grad(loss)的变
浏览 1提问于2021-09-12得票数 7
回答已采纳
假设你有一个Keras神经网络模型，你怎么能阻止在某一层后的反向传播的梯度？
也就是说，如果我们有一个具有两个输出的模型：
input_layer = Input(shape=(10,10,3))
x = Convolution2D(...)(input_layer)
x = Activation('relu')(x)
x = Flatten()(x)
x_1 = Dense(64)(x)
x_1 = Dense(32)(x_1)
x_1 = Dense(2)(x_1)
x_2 = Dense(64)(x)
x_2 = Dense(32)(x_2)
x_2 = Den
浏览 0提问于2018-06-19得票数 9
回答已采纳
1回答
自定义丢失函数的后端实现
、、、、
我有一个有向量输出的神经网络Network。我不使用典型的损失函数，而是实现自己的损失函数，这是类中的一种方法。这看起来像是：
class whatever:
def __init__(self, network, optimizer):
self.network = network
self.optimizer = optimizer
def cost_function(relevant_data):
...implementation of cost function with respect to outpu
浏览 1提问于2021-05-05得票数 1
回答已采纳
我正在学习如何使用Tensorflow，在这一点上，我真的被困住了，无法理解它。假设我有一个5层的网络，其输出由output表示。现在假设我想找出output相对于layer_2的梯度。为此，我将在Tensorflow中编写如下代码：
gradients_i_want = tf.gradients(output, layer_2)
从理论上讲，这个梯度应该通过链式法则来计算。我想问一下，Tensorflow是通过链式规则计算这些梯度，还是只取output对layer_2的导数
浏览 5提问于2018-02-10得票数 0
回答已采纳
我有点搞不懂在神经网络训练中损失函数是如何计算的。有人说，在理论上，当使用网格搜索或蒙特卡罗方法时，我们可以计算所有可能的损失函数值。但显然，这需要太多的资源，并不是神经网络训练的好方法。或者，在使用梯度下降时，我们有可能评估单个值，以知道我们应该往哪个方向去测试下一个值。然后我们可以一步一步地爬下梯子，直到我们达到最优值。
📷
但是另一方面，在下面的PyTorch例子中，据说损失函数是根据所有的预测值和实数来计算的。然后计算梯度。那么，当前面的步骤中的所有损失值都被计算出来时，梯度下降的点是什么呢？
📷
浏览 0提问于2019-09-23得票数 1
1回答
RNN的输出层的梯度应该剪裁吗？
、、、、
我目前正在训练一个用于时间序列预测的LSTM。我知道，当RNN超过某一阈值时，通常会夹紧RNN的梯度。但是，我并不完全清楚这是否包括输出层。
如果我们调用RNN的隐藏层，则输出为sigmoid(connected_weights*h +偏向)。我知道用于确定隐藏层的权重的梯度是剪裁的，但是输出层也是这样吗？
换句话说，connected_weights的梯度是否也在梯度裁剪中被裁剪？
浏览 1提问于2018-11-30得票数 2
回答已采纳
2回答
我知道，您可以设置线性梯度的宽度
.grey-block { background: linear-gradient(to right, #f9f9f9 0%, #f9f9f9 35%, white 35%, white 100%); }
以及高度
.grey-block { background: linear-gradient(to bottom, #f9f9f9 0%, #f9f9f9 65%, white 65%, white 100%); }
但是，是否可以使用相同的css行同时设置高度和宽度？
浏览 1提问于2018-01-04得票数 2
回答已采纳
我目前正在用Py火炬构建一个需要多个自定义层的模型。我只定义了前向方法，因此不定义向后方法。模型似乎运行良好，并且优化器能够使用来自层的渐变来更新。然而，我看到许多人定义了向后的方法，我想知道我是不是遗漏了什么。
为什么您需要定义一个反向传递？
浏览 2提问于2020-12-23得票数 2
回答已采纳
假设我有一个复杂的网络，它由可变大小的数据批提供。与往常一样，反向传播主要包括三个步骤：
前进传球:评估损失。
反向传递:计算梯度值。
梯度更新:使用优化器计算梯度更新，并将它们应用于变量。
在Tensorflow中，tf.train.Optimizer类通过公开以下方法来处理这个问题：
compute_gradients:应用步骤1和步骤2。
apply_gradients:应用步骤3。
最小化:将上述两种功能结合在一起的实用程序函数(因此可以实现#1、#2和#3)。
我的问题是，假设我们提供了大量的数据，而且网络可能是深而复杂的，那么这些步骤中哪一个
浏览 2提问于2017-08-22得票数 4
回答已采纳
我已经学习了一段时间的数据科学和ML主题，我总是在某一时刻被吸引，这给我带来了很大的困惑。
在象吴家富这样的课程中，我们的定义是，预测值与真实值之间的误差，例如线性回归，用以下方法表示：
错误= predicted_value - y
在其他一些教程/课程中，错误表现为：
error =y- predicted_value
另外，例如，在Udacity的数据科学纳米级上，梯度下降权值的更新是通过以下方法提供的：
error =y- predicted_value
W_new =W+ learn_rate * np.matmul(error，X)
同时，在其他几本书/课程中，也采用了同样的程序：
浏览 0提问于2019-04-04得票数 2
假设我有一个输入和一个由A，net B和net C组成的序贯网络，如果我分离了B网，然后把X放到A->B->C中，因为B被分离了，我会失去A的梯度信息吗？我会假设没有？我假设它只是把B当作一个常数加到A的输出中，而不是一些可微性的东西。
浏览 4提问于2022-06-17得票数 0
回答已采纳
可能是一个很小的问题，但我只想更清楚。根据现有的文献和中的讨论，这两种方法都涉及到计算一个导数，然后向最小方向移动。在简单梯度下降法的情况下，我们只计算一阶导数；在牛顿法中，我们计算二阶导数和恒心导数，并应用于向量。此外，牛顿/s方法中向量的更新可能并不总是沿(-ive)梯度方向进行。
此外，对于给定的函数f(x)，这两种方法都试图寻找满足f'(x) = 0的最小值；在梯度下降法中，目标是argmin f(x)，而在牛顿法中，目标是f‘(X)=0。另一个区别是停止准则，在梯度下降法中，f'(x) = 0，而在牛顿法中，它是f(x)=0。
基于上述论点，是否有理由说牛顿方法是基于
浏览 7提问于2020-01-18得票数 0
回答已采纳
我正在试图了解如何在使用clip_norm或与Tensorboard时确定的值。
在Tensorflow中，我们可以使用compute_gradients的优化器来获得梯度并将其添加到中。在Tensorboard中，我们可以在DISTRIBUTIONS选项卡中观察到梯度的范围。然后在使用clip_value时，我们可以确定的范围。
另一方面，如何在clip_norm板中计算/显示范数或全局范数，以确定其值。
浏览 1提问于2018-04-12得票数 1
回答已采纳
2回答
累积梯度
、、
在进行反向传递之前，我想要累积渐变。所以想知道什么是正确的方法。根据的说法是：
model.zero_grad() # Reset gradients tensors
for i, (inputs, labels) in enumerate(training_set):
predictions = model(inputs) # Forward pass
loss = loss_function(predictions, labels) # Compute l
浏览 0提问于2018-11-16得票数 7
回答已采纳
1回答
IDE梯度工具栏
、、
很抱歉发布了一个非技术问题:(
请看附呈的图像：
如何为Delphi提供梯度样式工具栏？
对于VCL TToolbar，您可以为同样的效果设置DrawingStyle := dsGradient，但是我如何为DrawingStyle := dsGradient更改它，我看不到一个选项。
PS，因为我正在使用的Windows主题，我的IDE看起来是蓝色的。
更新结果：
谢谢:)
浏览 1提问于2012-01-30得票数 3
回答已采纳
1回答
在LSTM中处理长时间步长序列
、、、、
我正在尝试使用LSTM来预测关于时间步长序列的信息。
我的数据看起来是这样的:我有几个相对较长的序列(>100000个时间步)的不同样本，我正在尝试解决N类分类问题，其中每个样本都被标记为不同的ID。现在，我正在尝试了解如何正确地准备我的数据，以便LSTM分别对每个样本进行训练。
在最基本的情况下，我只是将每个样本完全提供给网络：
model = models.Sequential()
model.add(layers.Embedding(FEATURES_NUMBER, 30))
model.add(layers.LSTM(32, return_sequences=True))
mo
浏览 0提问于2019-03-18得票数 1
在TensorFlow或Theano中，你只告诉图书馆你的神经网络是怎样的，以及前馈应该如何操作。
例如，在TensorFlow中，您可以编写：
with graph.as_default():
_X = tf.constant(X)
_y = tf.constant(y)
hidden = 20
w0 = tf.Variable(tf.truncated_normal([X.shape[1], hidden]))
b0 = tf.Variable(tf.truncated_normal([hidden]))
h = tf.nn.softma
浏览 2提问于2016-02-11得票数 10
回答已采纳
1回答
我在处理多gpu服务器上神经网络的训练。我使用的是来自MirroredStrategy 2.1的TensorFlow API，我感到很困惑。
我有8个GPU (Nvidia V100 32 GPUs )
我指定的批处理大小为32 (它是如何管理的？每个gpu会有一批32个样品吗？我是否应指定256为批号-32x8- ?)
何时和如何应用反向传播？我已经读过MirroredStrategy是同步的:它是否意味着在向前一步之后，所有批被分组成一批大小为32x8的批，然后应用反向传播？还是对每批32码的大小按顺序使用一次后支柱？
我真的很想确定我向服务器提交了什么样的实验，因为每个培
浏览 3提问于2020-09-07得票数 4
回答已采纳
1回答
首席执行官在做什么簿记？
、、、、
Caffe 说：
网络是计算图中连接的一组图层，准确地说是有向无圈图(DAG)。Caffe为每一层的DAG做所有的簿记，以确保前后传球的正确性。
“所有簿记”的意思是什么？我不明白。
如何做好所有的簿记工作？
浏览 1提问于2016-03-24得票数 1
2回答
我试图在MATLAB中找到使用fmincon的最小值，并面临以下问题：
优化完成是因为初始点梯度的大小小于函数公差的默认值。
我的目标函数的曲面显示“步骤”，因此它在某些输入变量范围内具有相同的值(如果我正确的话，梯度的大小是零)：
当从初始点移动时，求解器不会看到目标函数的值发生任何变化，并完成了优化：
Iteration Func-count f(x) Step-size optimality
0 3 581.542 0
Initial poi
浏览 3提问于2014-11-13得票数 3
回答已采纳
我需要多次反向传播我的神经网络，所以我设置了backward(retain_graph=True)。
然而，这导致了
RuntimeError:库达内存不足
我不明白这是为什么。
变量的数量或权重是否翻了一番？不管backward()被调用了多少次，使用的内存量不应该保持不变吗？
浏览 0提问于2019-08-01得票数 1
回答已采纳
我试图在我的项目中使用梯度积累。据我所知，梯度累积等于将批大小增加x倍。我在我的项目中尝试了batch_size==32和batch_size==8, gradient_accumulation==4，但是即使我在dataloader中禁用了shuffle，结果也会有所不同。batch_size==8, accumulation==4变异体的结果明显较差。
我想知道为什么？
这是我的片段：
loss = model(x)
epoch_loss += float(loss)
loss.backward()
# step starts from 1
if (step % accumulate_
浏览 14提问于2022-09-25得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
