尝试理解PyTorch中的cross_entropy损失
PyTorch中的cross_entropy损失是一种常用的损失函数，用于衡量分类模型的预测结果与真实标签之间的差异。它适用于多分类问题，并且可以处理类别不平衡的情况。
cross_entropy损失的计算公式如下：
loss = -∑(y * log(y_hat))其中，y表示真实标签的概率分布，y_hat表示模型的预测结果的概率分布。损失值越小，表示模型的预测结果与真实标签越接近。
cross_entropy损失的优势在于：
- 对于类别不平衡的情况，它能够更好地处理各个类别之间的权重差异，使得模型更加关注少数类别的预测准确性。
- 与其他损失函数相比，如均方误差损失函数，cross_entropy损失更适用于分类问题，能够更好地优化模型的分类能力。
cross_entropy损失在各种分类任务中广泛应用，包括图像分类、文本分类、语音识别等。在PyTorch中，可以使用torch.nn.CrossEntropyLoss模块来计算cross_entropy损失。
腾讯云提供了一系列与PyTorch相关的产品和服务，其中包括：
- GPU云服务器：提供高性能的GPU云服务器实例，用于加速深度学习模型的训练和推理。
- AI推理服务：提供基于GPU的深度学习模型推理服务，可快速部署和调用PyTorch模型。
- 深度学习平台：提供完整的深度学习平台，包括模型训练、模型管理和模型部署等功能。
更多关于腾讯云的PyTorch相关产品和服务信息，可以访问以下链接：
- GPU云服务器：https://cloud.tencent.com/product/cvm
- AI推理服务：https://cloud.tencent.com/product/tci
- 深度学习平台：https://cloud.tencent.com/product/dla
相关·内容
1回答
我无法在pytorch中对多标签分类使用损失函数这是我的损失函数：
def loss(self,pred,y_true):
pred = torch.tensor(pred)
y_true = torch.tensor(y_true)
loss = nn.NLLLoss()(torch.log(pred), y_true)
return loss
在试图获得损失时：
model.loss(model(xtrain),ytrain)
它显示一个错误：
RuntimeError: 1D target tensor expected, multi-target
浏览 6提问于2021-09-24得票数 0
当我使用交叉熵损失作为损失函数时，我得到此Dimension out range错误
Traceback (most recent call last):
File "e:\testcode\cnn.py", line 122, in <module>
loss = loss_func(output, b_y) # cross entropy loss
File "D:\Anaconda3\envs\pytorch\lib\site-packages\torch\nn\modules\module.py", line 532, i
浏览 0提问于2020-04-26得票数 0
1回答
默认情况下，PyTorch的cross_entropy以logits (来自模型的原始输出)作为输入。我知道CrossEntropyLoss将LogSoftmax ( log (softmax(X)和NLLLoss (负日志似然损失)合并在一个类中。因此，我认为我可以使用NLLLoss从概率中获得交叉熵损失如下：
真实标签: 1，0，1
概率: 0.1，0.9，0.9，0.1，0.2，0.8
其中，y_i,j表示真值，即如果示例i属于j类，则为1，否则为0。p_i,j表示属于j类的样本i模型所预测的概率。
如果我用手计算，结果是：
>>> -(math.lo
浏览 2提问于2020-02-11得票数 4
回答已采纳
我无法理解tensorflow文档中GAN模型中的损失函数。为什么tf.ones_like()用于real_loss，tf.zeros_like()用于伪输出？？
def discriminator_loss(real_output,fake_output):
real_loss = cross_entropy(tf.ones_like(real_output),real_output)
fake_loss = cross_entropy(tf.zeros_like(fake_output),fake_output)
total_loss = real_loss + fake_lo
浏览 2提问于2020-04-28得票数 1
回答已采纳
1回答
什么是像素级softmax损失？
、、、、
像素级的softmax损失是多少？在我的理解中，这只是一个交叉熵损失，但我没有找到公式。有人能帮我吗？最好是有pytorch代码。
浏览 1提问于2019-07-25得票数 3
通过斯坦福大学的课程，我正在使用Tensorflow学习神经网络。我在实现RNN时发现了这一点，并且不太理解为什么会累积损失：
# This adds a loss operation to the Graph for batch training
def add_loss_op(self, output):
all_ones = [tf.ones([self.config.batch_size * self.config.num_steps])]
cross_entropy = sequence_loss(
[output], [tf.reshape(self
浏览 35提问于2016-09-23得票数 2
我正在尝试用Pytroch的论文中的二元交叉熵损失，但是这里我遇到了一些问题。当我让预测标签(乙状结肠(输入)) == 1的时候，我不确定如何使用Py手电筒获得目标y。有人能帮我吗？或者有什么方法可以得到匹配的目标值，比如numpy或list使用的索引函数？此处使用的修正的交叉熵：
loss1 = (t/(t+1)) * cross_entropy (only when predicted label==1)
loss2 = (1/(t+1)) * cross_entropy (only when predicted label==0)
total loss = loss1 + loss2`
浏览 1提问于2022-03-27得票数 0
我正在关注这个
我正在试着理解tf.session.run()的争论。我知道你必须在会话中运行图中的操作。
传入train_step是否是因为它封装了此特定示例中网络的所有操作？我正在尝试理解为什么我不需要向会话传递任何其他变量，比如cross_entropy。
sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})
下面是完整的代码：
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("
浏览 3提问于2018-07-18得票数 5
回答已采纳
我想强迫一个分类器不要总是想出相同的结果(没有监督，所以我没有目标)：
max_indices = tf.argmax(result, 1)
cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(result, max_indices, name="cross_entropy_per_example")
cross_entropy_mean = tf.reduce_mean(cross_entropy, name="cross_entropy")
其中：
结果是从推理中返回的
浏览 3提问于2016-07-16得票数 2
回答已采纳
1回答
我正在尝试计算cross_entropy损失手动在Pytorch的编解码模型.
我使用这里发布的代码来计算它：
我更新了代码以丢弃填充令牌(-100)。最后的代码是：
class compute_crossentropyloss_manual:
"""
y0 is the vector with shape (batch_size,C)
x shape is the same (batch_size), whose entries are integers from 0 to C-1
"""
def __i
浏览 0提问于2021-12-02得票数 1
回答已采纳
:)
嗨，伙计们。
现在，我正在使用tensorflow进行多热分类。
如果使用softmax_cross_entropy_with_logits，则损失函数增加(例如，损失: 50 ->损失: 190000 ->损失: 2138712811 -> ...)。
因此，我想要阐明softmax_cross_entropy_with_logits的机制。
我认为下面的python代码可以模仿softmax_cross_entropy_with_logits。
def imitation_SCEwL(logits, labels):
_y = tf.nn.softmax(log
浏览 0提问于2017-06-15得票数 0
我正在尝试理解训练循环。在计算训练和测试精度时，我们用训练和测试集替换x和y_，但是在打印交叉熵的结果时，为什么我们分别用batch_xs和batch_ys来馈送x和y_？我知道我们必须为占位符赋值，但在计算测试精度时，batch_xs和batch_ys保持不变，并且都使用训练集值。
x = tf.placeholder(tf.float32, [None, nPixels])
y_ = tf.placeholder(tf.float32, [None, nLabels])
cross_entropy = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_w
浏览 0提问于2018-05-22得票数 1
我正在尝试在keras中模仿pytorch神经网络。 我确信我的keras版本的神经网络与pytorch中的非常接近，但在训练过程中，我看到pytorch网络的损失值比keras网络的损失值要低得多。我想知道这是不是因为我没有正确复制keras中的pytorch网络，或者两个框架中的损失计算是不同的。 Pytorch损失定义： loss_function = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.parameters(), lr=args.lr, momentum=0.9, weight_decay=5e-4) Keras损失定义：
浏览 555提问于2020-04-26得票数 3
回答已采纳
1回答
我实现了一个数字分类的CNN模型。我的模型太多了，为了克服过度拟合，我尝试在我的成本函数中使用L2 Regularization。我有点困惑，如何选择<weights>来输入成本公式(代码的最后一行)。
...
x = tf.placeholder(tf.float32, shape=[None, img_size, img_size, num_channels], name='x') # Input
y_true = tf.placeholder(tf.float32, shape=[None, num_classes], name='y_true
浏览 1提问于2017-10-20得票数 1
回答已采纳
我目前正在努力教自己TensorFlow。在彻底阅读和视频之后，我尝试重新创建提供的示例，但是，为了不仅复制和粘贴，我决定做一些小的修改，看看我是否理解我在做什么，因此我决定使用CIFAR-10数据集(小的32x32 rgb图像)。
代码框架基本上是基本框架，如本教程所示：
# Imports
import tensorflow as tf
import numpy as np
###
### Open data files (dict)
###
def unpickle(file):
import cPickle
fo = open(file, 'rb')
浏览 0提问于2016-12-08得票数 0
回答已采纳
1回答
我正在构建一个二进制分类，其中我想要预测的类只出现在<2%的时间。我用的是火把
最后一层可能是logosftmax或softmax。
self.softmax = nn.Softmax(dim=1)或self.softmax = nn.LogSoftmax(dim=1)
我的问题
我应该使用softmax，因为它将提供总结为1的输出，并且我可以检查各种prob阈值的性能。这样理解正确吗？
如果我使用softmax，那么我可以使用cross_entropy loss吗？这似乎认为使用它是可以的。
如果我使用logsoftmax，那么我可以使用cross_entropy loss吗？这似乎建
浏览 0提问于2022-03-03得票数 0
回答已采纳
这是一个非常新手的问题，但我正试图理解cross_entropy在Torch中的损失，所以我创建了以下代码：
x = torch.FloatTensor([
[1.,0.,0.]
,[0.,1.,0.]
,[0.,0.,1.]
])
print(x.argmax(dim=1))
y = torch.LongTensor([0,1,2])
loss = torch.nn.functional.cross_en
浏览 8提问于2019-07-23得票数 3
回答已采纳
我正在研究tensorflow (准确地说，使用CNN检测对象)。
我已经研究过分类，但是对象检测是回归问题，所以我混淆了损失函数和总体网络实现。
在分类问题上，我应该用-
tf.nn.softmax_cross_entropy_with_logits(logits=result，labels=Y)
(结果是我的CNN输出张量)
但是在回归问题上，如半分割和目标检测，我发现我不得不使用L2-丢失函数。
tf.nn.l2_loss(t=result)
我不知道如何使用这个函数，因为我不能使用tf.argmax函数。
源代码1分类，使用softmax和tf.argmax
cross_entropy
浏览 0提问于2019-05-03得票数 1
回答已采纳
1回答
我正在训练一个模型，用于从图像中分割机器打印的文本。图像可能还包含条形码和手写文本。对地面真实图像进行处理，使0表示机器打印，1表示其余图像。我使用的是5层CNN，最后输出2张地图。
我的损失计算如下：
def loss(logits, labels):
logits = tf.reshape(logits, [-1, 2])
labels = tf.reshape(labels, [-1])
cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=logits, labels=la
浏览 0提问于2017-07-04得票数 3
我正在为学习本教程
它将交叉熵函数的实现描述为：
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1]))
首先，tf.log计算y的每个元素的对数，然后将y_的每个元素与tf.log(y)的对应元素相乘。然后tf.reduce_sum在y的第二维中添加元素，这是因为reduction_indices=参数。最后，tf.reduce_mean计算批处理中所有示例的平均值。
我的理解是，阅读本教程时，y的实际值和预测值都是2D张量。行是您使用的大小为784的MNIST向量的数
浏览 1提问于2018-07-17得票数 0
2回答
我正在训练CNN架构，用PyTorch来解决回归问题，其中我的输出是20个值的张量。我计划用RMSE作为模型的损失函数，并尝试使用PyTorch的nn.MSELoss()，并使用torch.sqrt()作为平方根，但在得到结果后感到困惑，我会尽力解释原因。很明显，对于批处理大小的bs，输出张量的维度将是[bs , 20].I试图实现的，并由我自己实现RMSE函数：
def loss_function (predicted_x , target ):
loss = torch.sum(torch.square(predicted_x - target) , axis= 1)
浏览 5提问于2020-05-24得票数 6
回答已采纳
1回答
我刚开始机器学习。尝试运行Hello示例
递归下降
Y= softmax(Wx+b)
成本函数= cross_entropy
而且起作用了。
接下来，尝试了以下数据集：
X范围(0,100000)
X中x的y- is_prime(x)
(调整W和b维数)
我看到的是，在训练过程中，W和b是恒定的。
问题：
是在我的代码中，还是在整个数学概念中？
谢谢
这里的代码(如果相关)：
#!/usr/bin/python
import tensorflow as tf
import numpy as np
import math
import sys
def is
浏览 10提问于2017-08-27得票数 0
回答已采纳
假设我们有一个NN，我们想要训练它来预测输入中的3个值。我们有一组训练数据：
x_train = ((1, 5, 3, 2, 6), (1, 8, 6, 9, 3), ...)
目标呢？
y_train = ((25, 32, 0.12), (.125, -5, 8), ...)
如果pytorch只计算一个标量作为损失函数，它如何进行训练？为什么它无法计算与每个输出神经元相关的损失？例如，如果x_train的答案是(20，32，0.12)，我们不想更新与答案(25，37，0.12)相同的权重，对吗？但在这种情况下，使用pytorch计算的损失将是相同的，因为它(对于经典的MSE损失)意味着
浏览 15提问于2021-02-28得票数 0
回答已采纳
我在Tensorflow中实现了一个神经网络，其中最后一层是卷积层，我将此卷积层的输出馈送到softmax激活函数，然后将其馈送到交叉熵损失函数，该函数的定义如下所示，但问题是我将NAN作为损失函数的输出，我发现这是因为softmax的输出中有1。所以，我的问题是在这种情况下我应该怎么做？我的输入是一个16x16的图像，其中我有0和1作为每个像素的值(二进制分类) 我的损失函数： #Loss function
def loss(prediction, label):
#with tf.variable_scope("Loss") as Loss_scope:
浏览 20提问于2019-06-21得票数 2
回答已采纳
我使用的是本教程中预先训练好的模型。https://pytorch.org/tutorials/intermediate/torchvision_tutorial.html#defining-your-model 该模型是pytorch的更快的RCNN 50fpn模型。有人知道分类损失、损失和客观性损失函数是什么吗(即交叉熵或？)。提前谢谢你，Sriram A。
浏览 56提问于2021-07-30得票数 0
在我的项目中，负实例远远多于正实例，所以我想给出更大权重的正实例。我的目标是：
loss = 0.0
if y_label==1:loss += 100 * cross_entropy
else:loss += cross_entropy
如何在tensorflow中实现此功能
浏览 0提问于2017-04-07得票数 1
2回答
我正在Pytorch中学习Logistic回归，为了更好地理解，我定义了一个定制的CrossEntropyLoss，如下所示：
def softmax(x):
exp_x = torch.exp(x)
sum_x = torch.sum(exp_x, dim=1, keepdim=True)
return exp_x/sum_x
def log_softmax(x):
return torch.exp(x) - torch.sum(torch.exp(x), dim=1, keepdim=True)
def CrossEntropyLoss(outputs
浏览 5提问于2019-10-13得票数 1
回答已采纳
我想知道如何在PyTorch中对以下数学运算采取梯度步骤(A、B和C是参数为而不是重叠的PyTorch模块)
这与生成性对抗性网络(GAN)的成本功能有些不同，所以我不能使用现成的GANs的例子，而且我在尝试将它们调整到上面的成本时被困住了。
我想到的一种方法是构造两个优化器。优化器opt1具有模块A和B的参数，优化器opt2具有模块C的参数。
采取步骤，使C的成本函数最小化
再次使用相同的输入运行网络，以获得成本(和中间输出)。
在A和B方面迈出一步。
我确信，它们肯定是使用PyTorch (可能使用一些detach操作)更好的方法，可能不会再次运行网络。任何帮
浏览 1提问于2018-06-12得票数 3
我正在尝试使用tensorflow自动编码器生成与给定原始数据非常接近的合成数据。但是，自动编码器不是在训练阶段学习。我的成本函数通常不是递减的，合成数据与原始数据无关。我的代码如下：
x = tf.placeholder("float", [None, COLUMN])
# Weights and biases to hidden layer
Wh = tf.Variable(tf.random_uniform((COLUMN, UNITS_OF_HIDDEN_LAYER), -1.0 / mpmath.sqrt(COLUMN), 1.0 / mpmath.sqrt(COLU
浏览 24提问于2017-06-27得票数 0
因此，我正在基于构建一个完全卷积网络(FCN
我的输入图像数据目前是一个750x750x3的RGB图像。在网络中运行后，我使用形状为batch_size，750,750,2的logits进行损失计算。
这是一个二进制分类-我这里有两个类别，在我的标签中有0，1(形状为batch_sizex750x750 )。这些函数进入损失函数，如下所示：
def loss(logits, labels, num_classes):
with tf.name_scope('loss mine'):
logits = tf.to_float(tf.reshape(logits, [-1,
浏览 20提问于2016-07-24得票数 7
回答已采纳
1回答
我想要实现的是计算相对于输入值x的交叉熵的梯度。在TensorFlow中，我对此并无异议：
ce_grad = tf.gradients(cross_entropy, x)
但是随着我的网络越来越大，我转而使用Keras来更快地构建它们。但是，现在我真的不知道如何实现上面的目标？是否有方法从model变量中提取交叉熵和输入张量，以存储整个模型？
为了清楚起见，我的cross_entropy是：
cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels = y_, logits=y_conv))
&
浏览 2提问于2018-12-06得票数 4
回答已采纳
我在训练中使用了交叉熵和单热点真值标签的Tensorflow分类器。这是否容易受到虚拟变量陷阱的影响？如果是这样，我是否应该删除其中一个类？如果不是，那么tf.nn.softmax_cross_entropy_with_logits是否对虚拟变量陷阱免疫？代码：
batch_size = tf.shape(truthLabels_placeholder)[0]
indices = tf.expand_dims(tf.range(0, batch_size), 1)
labels = tf.expand_dims(truthLabels_placeholder, 1)
concated = tf
浏览 15提问于2017-12-15得票数 0
回答已采纳
因此，我试图训练我的LSTM网络语言模型，并使用一个困惑函数作为我的损失函数，但是我得到了以下错误：
ValueError: An operation has `None` for gradient. Please make sure that all of your ops have a gradient defined (i.e. are differentiable). Common ops without gradient: K.argmax, K.round, K.eval.
我的损失函数如下：
from keras import backend as K
def perplexit
浏览 3提问于2020-05-30得票数 1
回答已采纳
我的工作是通过基于VGG的网络获取显着性图。但mse损失不会像我想象的那样减少。所以我找不到为什么我的损失不减少。ps。训练数据集是SALICON。下面是输出：
training epoch 1, loss value is 0.041423566639423
training epoch 2, loss value is 0.041423123329878
training epoch 3, loss value is 0.041430559009314
training epoch 4, loss value is 0.041424177587032
...
training epoch
浏览 1提问于2017-11-23得票数 1
1回答
我正在使用焦火炬视觉库进行目标检测。我正在使用为反对检测指标提供的实用程序。https://github.com/pytorch/vision。我看到了下面的输出
Epoch: [2] [0/10] eta: 0:00:50 lr: 0.000500 loss: 1.1589 (1.1589) loss_classifier: 0.1807 (0.1807) loss_box_reg: 0.0592 (0.0592) loss_objectness: 0.6662 (0.6662) loss_rpn_box_reg: 0.2528 (0.2528) time: 5.0786
浏览 0提问于2021-06-16得票数 0
回答已采纳
我正在尝试用keras编写示例中已经编写好的Matlab Model的代码：
他们最终定义了一个名为regressionLayer的层。我想知道在keras或pytorch中应该使用什么。
我只是在keras中添加了sigmoid激活，而不是这个regressionLayer。但我怀疑这是否正确，因为我似乎没有得到想要的输出，这似乎是原因之一。
model.add(Conv2D(1, (129,1), strides =(1,100),padding='same',
input_shape=(129,8,18),activation='
浏览 55提问于2019-08-07得票数 0
你们如何将pytorch模型的训练历史可视化，就像在keras here中一样。 我有一个pytorch训练过的模型，我想看看它的训练图表。我可以只使用matplotlib来做这件事吗？如果是，谁能给我一些资源让我关注。
浏览 15提问于2019-03-12得票数 3
我正在为我的tensorflow工作区工作在一个单元测试系统中，我想知道是否有任何方法或属性，给出了一个带有优化器操作的图(在调用.minimize()之后)，以获得它正在优化的最终损失张量及其控制的变量。
例如，如果我调用train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)，我希望只检索只有访问train_op的cross_entropy。
我可以访问train_op对象，我只想知道它引用了哪些丢失，以及控制了哪些变量。
浏览 0提问于2018-01-23得票数 6
回答已采纳
1回答
我有一些Pytorch代码，它演示了Pytorch内部的梯度计算，但是我完全搞不懂计算了什么以及它是如何使用的。这篇文章演示了它的用法，但就反向传播算法而言，它对我来说没有任何意义。在下面的例子中，我看到了in1和in2的梯度，我意识到in1和in2的梯度是损失函数的导数，但我的理解是更新也需要考虑实际的损失值。损失价值在哪里被使用？我是不是漏掉了什么？
in1 = torch.randn(2,2,requires_grad=True)
in2 = torch.randn(2,2,requires_grad=True)
target = torch.randn(2,2)
l1 = torch.
浏览 0提问于2019-04-05得票数 3
回答已采纳
代码摘自。此函数在MNIST数据集上运行操作，MNIST数据集是0-9手写图片的数据集。为什么把标签投给int64，我觉得int32就足够了。
def loss(logits,labels):
labels = tf.to_int64(labels)
cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(
logits,labels,name='xentropy')
loss = tf.reduce_mean(cross_entropy,name='xentr
浏览 1提问于2016-12-15得票数 2
回答已采纳
我一直在尝试下面的代码来实现神经网络，但我在显示损失值方面遇到了挑战。有人能帮帮我吗？
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("MNIST_data", one_hot=True)
x_input = mnist.train.images[:100,:]
y_input = mnist.train.labels[:100,:]
LearningRate = 0.01
noOfE
浏览 0提问于2018-03-19得票数 1
我对Pytorch的分类交叉熵损失的计算有疑问。我制作了这个简单的代码片段，因为我使用输出张量的argmax作为目标，所以我不能理解为什么损失仍然很高。
import torch
import torch.nn as nn
ce_loss = nn.CrossEntropyLoss()
output = torch.randn(3, 5, requires_grad=True)
targets = torch.argmax(output, dim=1)
loss = ce_loss(outputs, targets)
print(loss)
谢谢你帮我理解它。向杰罗姆致以最好的问候
浏览 26提问于2019-11-19得票数 1
回答已采纳
有人能在Tensorflow的上给我一个简单的示例吗？
我试图用不同数字的cross_entropy来更改的软最大值和sampled_softmax_loss，但是结果确实很糟糕。
浏览 1提问于2016-11-03得票数 0
实际上，我正在尝试使用keras将这个旧的Tensorflow 1代码转换为TF2： def init_net(batch_size=256, num_feats=30, hidden_size=100):
with tf.name_scope('network'):
with tf.name_scope('inputs'):
inputs = tf.placeholder(tf.int32, shape=[batch_size, ], name='inputs')
labels =
浏览 17提问于2021-01-05得票数 0
回答已采纳
我是Tensorflow的新手，我读过关于MNIST ()的入门教程。它可以很好地处理给定的数据，但是当我尝试使用自己的数据时，它会失败。下面是一个实现示例，我试图让网络学习添加(i，j) -> (i+j)：
def generateData(n, r=100) :
inputData = []
outputData = []
for k in range(n):
i, j = random.randrange(0, r), random.randrange(0, r)
inputData.append([i, j])
浏览 3提问于2016-06-20得票数 0
回答已采纳
1回答
哪个损失函数只返回0到1之间的值？
问题是关于二进制分类(使用pytorch)的损失。
通过尝试这些功能：
loss = torch.nn.functional.binary_cross_entropy(output, target)
和
loss_function = torch.nn.BCELoss()
loss = loss_function(output, target)
返回值有时大于1。
浏览 2提问于2022-04-13得票数 0
我正在尝试用SVM替换CNN网络的最后一个完全连接层，在多分类问题中使用pytorch。我做了一些研究，它说，我应该用nn.MultiMarginLoss取代nn.CrossEntropyLoss。 如何改变标准实际上只与“用SVM替换完全连接层”任务相对应？另一件事是，我想使用不同核的SVM，比如二次核。
浏览 51提问于2020-05-29得票数 1
回答已采纳
训练数据集包含两个类别A和B，相应地，我们在目标标签中表示为1和0。Out标签数据严重倾向于0类，这大约占数据的95%，而我们的类1仅占5%。在这种情况下，我们应该如何构建我们的损失函数？
我发现Tensorflow有一个可以用于权重的函数：
tf.losses.sigmoid_cross_entropy
weights作为损失系数。如果提供了标量，则损失将按给定值进行缩放。
听起来不错。我将权重设置为2.0，以使损失更高，更多地惩罚错误。
loss = loss_fn(targets, cell_outputs, weights=2.0, label_smoothing=0)
然而，
浏览 1提问于2018-04-13得票数 3
回答已采纳
我在用张量训练的神经模型进行预测时遇到了困难。这是我的尝试：
import tensorflow as tf
import pandas, numpy as np
dataset=[[0.4,0.5,0.6,0],[0.6,0.7,0.8,1],[0.3,0.8,0.5,2],....]
X = tf.placeholder(tf.float32, [None, 3])
W = tf.Variable(tf.zeros([3,10]))
b = tf.Variable(tf.zeros([10]))
Y1 = tf.matmul(X, W) + b
W1 = tf.Variable(tf
浏览 0提问于2017-12-08得票数 1
我想知道我是否可以在Pytorch中构建一个图像调整模块，它接受3*H*W的torch.tensor作为输入，并返回一个张量作为调整后的图像。
我知道可以将张量转换为PIL图像并使用torchvision，但我也希望将梯度从调整大小的图像反向传播到原始图像，下面的示例将返回此类错误(在Windows10上的PyTorch 0.4.0中)：
import numpy as np
from torchvision import transforms
t2i = transforms.ToPILImage()
i2t = transforms.ToTensor()
trans = transfo
浏览 5提问于2018-05-18得票数 9
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
