开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

"torch._C._nn.nll_loss“函数的CPU版本

"torch._C._nn.nll_loss"函数是PyTorch深度学习框架中的一个函数，用于计算负对数似然损失（Negative Log Likelihood Loss）。它主要用于多分类问题中，通过将预测结果与真实标签进行比较，计算模型预测的概率分布与真实标签之间的差异。

该函数的输入参数包括预测结果（通常是模型输出的概率分布）、真实标签和可选的权重。它的输出是一个标量，表示模型预测与真实标签之间的损失值。

该函数的CPU版本是指在CPU上执行的版本，适用于没有GPU加速的情况。在使用该函数之前，需要先将数据和模型放置在CPU上。

该函数的优势在于它能够直接计算多分类问题中的损失值，无需手动编写损失函数。它还支持权重的设置，可以用于处理类别不平衡的情况。

应用场景：

多分类任务：例如图像分类、文本分类等任务中，可以使用该函数计算损失值。
模型训练：在深度学习模型的训练过程中，通常需要计算损失值来进行反向传播和参数更新。

推荐的腾讯云相关产品和产品介绍链接地址：

腾讯云AI开发平台：https://cloud.tencent.com/product/ai
腾讯云深度学习平台：https://cloud.tencent.com/product/dla
腾讯云机器学习平台：https://cloud.tencent.com/product/mlp

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

PyTorch 模型性能分析和优化 - 第 2 部分

这是有关分析和优化在 GPU 上运行的 PyTorch 模型主题的系列文章的第二部分。在第一篇文章中，我们演示了使用 PyTorch Profiler 和 TensorBoard 迭代分析和优化 PyTorch 模型的过程以及巨大潜力。在这篇文章中，我们将重点关注 PyTorch 中由于使用急切执行而特别普遍的特定类型的性能问题：模型执行部分对 CPU 的依赖。识别此类问题的存在和根源可能非常困难，并且通常需要使用专用的性能分析器。在这篇文章[1]中，我们将分享一些在使用 PyTorch Profiler 和 PyTorch Profiler TensorBoard 插件时识别此类性能问题的技巧。

02

代码解读器_网页代码解读

在对STN的原论文进行了翻译、理解后，我打算去github上运行下源码，以加深对ST的理解。毕竟，talk is cheap，show me the code！

04

手撕CNN的MNIST手写数字识别

废话不多说直接上代码，这次研究了一下pytorch中的二维卷积的函数，所以人为的改了一下代码，毕竟一直模仿是行不通的，就和修车一样，你得拆了之后再组装起来才能说明你good at修车。

03

pytorch学习笔记(二十): ignite (写更少的代码训练模型)

最近自己想写一个高级一点的抽象来更方便的训练 pytorch 网络, 无意间发现, pytorch 用户下面有个 ignite repo, 好奇就看了一下这是个什么东西. 原来是 pytorch 已经提供了一个高级抽象库来训练 pytorch模型了, 既然有了轮子, 那就没必要自己造了, 好好用着就行了. 没事读读源码, 也可以学习一下大佬们是怎么抽象的. 本博文主要是对 ignite 做一个宏观上的介绍.

02

13 | PyTorch全连接网络识别飞机、全连接在图像分类上的缺陷

接着上一小节说，我们已经把全连接网络建好了，接下来就需要去训练网络，找到合适的参数来拟合我们的训练数据，那么第一个事情就看损失函数。

02

浅谈LabelSmooth两种实现及推导

因为最近跑VIT的实验，所以有用到timm的一些配置，在mixup的实现里面发现labelsmooth的实现是按照最基本的方法来的，与很多pytorch的实现略有不同，所以简单做了一个推导。

06

PyTorch中神经网络的对抗性攻击和防御

深度学习和神经网络的兴起为现代社会带来了各种机会和应用，例如对象检测和文本转语音。然而，尽管看似准确性很高，但神经网络（以及几乎所有机器学习模型）实际上都可能受到数据（即对抗性示例）的困扰，而这些数据是从原始训练样本中进行的非常轻微的操纵。实际上，过去的研究表明，只要您知道更改数据的“正确”方法，就可以迫使您的网络在数据上表现不佳，而这些数据在肉眼看来似乎并没有什么不同！这些对数据进行有意操纵以降低模型精度的方法称为对抗性攻击，而攻击与防御之战是机器学习领域中持续流行的研究主题。

04

Pytorch里的CrossEntropyLoss详解

首先要知道上面提到的这些函数一部分是来自于torch.nn,而另一部分则来自于torch.nn.functional(常缩写为F）。二者函数的区别可参见知乎:torch.nn和funtional函数区别是什么？

04

3个Tricks帮你提升你Debug Pytorch的效率

每一个深度学习项目都是不同的。不管你有多少经验，你总会遇到新的挑战和意想不到的行为。你在项目中运用的技巧和思维方式将决定你多快发现并解决这些阻碍成功的障碍。

02

PyTorch Lightning工具学习

【GiantPandaCV导语】Pytorch Lightning是在Pytorch基础上进行封装的库(可以理解为keras之于tensorflow)，为了让用户能够脱离PyTorch一些繁琐的细节，专注于核心代码的构建，提供了许多实用工具，可以让实验更加高效。本文将介绍安装方法、设计逻辑、转化的例子等内容。

01

Pytorch Apple Silicon GPU 训练与测评

今天中午看到Pytorch的官方博客发了Apple M1 芯片 GPU加速的文章，这是我期待了很久的功能，因此很兴奋，立马进行测试，结论是在MNIST上，速度与P100差不多，相比CPU提速1.7倍。当然这只是一个最简单的例子，不能反映大部分情况。这里详细记录操作的一步步流程，如果你也感兴趣，不妨自己上手一试。

05

【深度学习入门篇 ⑨】循环神经网络实战

循环神经网络 (RNN）是一类具有短期记忆能力的神经网络。在循环神经网络中，神经元不但可以接受其它神经元的信息，也可以接受自身的信息，形成具有环路的网络结构。

01

pytorch中的nn.CrossEntropyLoss()计算原理

array([[0.10786477, 0.56611762, 0.10557245], [0.4596513 , 0.13174377, 0.82373043]])

03

PyTorch深度学习（2）

Deep Learning = Learning Hierarchical Representations 深度学习即学习层次的表征。

01

ｓｔｎ　　ｐｙｔｏｒｃｈ[通俗易懂]

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至举报，一经查实，本站将立刻删除。

05

Pytorch损失函数nn.NLLLoss2d()用法说明

输入的目标矩阵，每个像素必须是类型.举个例子。第一个像素是0，代表着类别属于输入的第1个通道；第二个像素是0，代表着类别属于输入的第0个通道，以此类推。

03

Pytorch训练网络模型过程中Loss为负值的问题及其解决方案

程序主要通过深度学习实现一个分类任务。编程与debug过程全部在windows10系统，Pycharm2018v1.4的IDE下完成，主要框架为pytorch 1.2.0。复现过程中采用了交叉熵损失函数计算Loss。训练过程中输出信息如下：

03

Python文字识别

首先安装必要的库 pip install opencv-python pip3 install --user numpy scipy matplotlib pip3 install torch torchvision torchaudio pip install matplotlib pip install torchvision 训练数字识别模型 """ ****************** 训练数字识别模型 ******************* """ # -*- coding: utf

02

【深度学习入门篇 ④ 】Pytorch实现手写数字识别

通过前面的学习，我们已经掌握了PyTorch API的基本使用，今天我们使用PyTorch实现手写数字识别案例！

01

3个Tricks帮你提升你Debug Pytorch的效率

每一个深度学习项目都是不同的。不管你有多少经验，你总会遇到新的挑战和意想不到的行为。你在项目中运用的技巧和思维方式将决定你多快发现并解决这些阻碍成功的障碍。

03

轻松学Pytorch-使用STN网络实现旋转对象检测

Pytorch刚刚发布的最新版本1.10上面支持使用STN网络，帮助CNN网络获取旋转不变性特征。而且只需要在原来的CNN网络中改动十行左右代码即可获得加持，从而让训练生成的分类或者对象检测网络具有更好的稳定性。

06

「深度学习一遍过」必修1：Windows10 下 Pytorch 的安装与环境配置

2.5.2 方法二：下载 pytorch 的 whl 文件到本地安装（速度较快）

02

图神经网络版本的Kolmogorov Arnold（KAN）代码实现和效果对比

Kolmogorov Arnold Networks (KAN)最近作为MLP的替代而流行起来，KANs使用Kolmogorov-Arnold表示定理的属性，该定理允许神经网络的激活函数在边缘上执行，这使得激活函数“可学习”并改进它们。

01

libtorch系列教程3：优雅地训练MNIST分类模型

在这篇文章中，我们对如何使用Libtorch进行MNIST分类模型的训练和测试进行详细描述。首先会浏览官方MNIST示例，然后对其进行模块化重构，为后续别的模型的训练提供 codebase。

04

一文带你搞懂图神经网络GNN

先说一下今天用到的数据集，虽然之前有文章讲过，但是这次可以讲的更透彻一些，温故而知新嘛：

01

国家信息中心数据恢复中心官网_stn源源

写在前面：目前在学习pytorch官方文档的内容，以此来记录自己的学习过程，本次学习的是STN网络。传送门：官方文档中文翻译 STN论文链接（Spatial Transformer Networks ）为什么要用到STN网络呢：卷积神经网络定义了一个异常强大的模型类，但在计算和参数有效的方式下仍然受限于对输入数据的空间不变性。在此引入了一个新的可学模块，空间变换网络，它显式地允许在网络中对数据进行空间变换操作。这个可微的模块可以插入到现有的卷积架构中，使神经网络能够主动地在空间上转换特征映射，在特征映射本身上有条件，而不需要对优化过程进行额外的训练监督或修改。我们展示了空间变形的使用结果，在模型中学习了平移、缩放、旋转和更一般的扭曲，结果在几个基准上得到了很好的效果。

01

Spatial Transformer Network_transgression

上一篇通俗易懂的Spatial Transformer Networks(STN)(一)中，我们详细介绍了STN中会使用到的几个模块，并且用pytorch和numpy来实现了，这篇文章我们将会利用pytorch来实现一个MNIST的手写数字识别并且将STN模块嵌入到CNN中

02

Pytorch实现STN

import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim import torchvision from torchvision import datasets, transforms import matplotlib.pyplot as plt import numpy as np class TPSNet(nn.Module): def __init__(self): super(TPSNet, self).__init__() self.conv1 = nn.Conv2d(1, 10, kernel_size=5) self.conv2 = nn.Conv2d(10, 20, kernel_size=5) self.conv2_drop = nn.Dropout2d() self.fc1 = nn.Linear(320, 50) self.fc2 = nn.Linear(50, 10) # Spatial transformer localization-network self.localization = nn.Sequential( nn.Conv2d(in_channels=1, out_channels=8, kernel_size=7), nn.MaxPool2d(kernel_size=2, stride=2), nn.ReLU(True), nn.Conv2d(in_channels=8, out_channels=10, kernel_size=5), nn.MaxPool2d(kernel_size=2, stride=2), nn.ReLU(True) ) # Regressor for the 3 * 2 affine matrix self.fc_loc = nn.Sequential( nn.Linear(10 * 3 * 3, 32), nn.ReLU(True), nn.Linear(32, 3 * 2) ) # Initialize the weights/bias with identity transformation self.fc_loc[2].weight.data.fill_(0) self.fc_loc[2].bias.data = torch.FloatTensor([1, 0, 0, 0, 1, 0]) # Spatial transformer network forward function def stn(self, x): #x是[b,1,28,28] xs = self.localization(x) #xs是[b,10,3,3] xs = xs.view(-1, 10 * 3 * 3) #xs是[b,90] theta = self.fc_loc(xs) #theta是[b,6] theta = theta.view(-1, 2, 3) grid = F.affine_grid(theta, x.size()) x = F.grid_sample(x, grid) #x是[b,1,28,28] return x def forward(self, x): # transform the input #x是[b,1,28,28] x = self.stn(x) #x是[b,1,28,28] # Perform the usual forward pass x = F.relu(F.max_pool2d(self.conv1(x), 2)) x = F.relu(F.max_pool2d(self.conv2_drop(self.conv2(x)), 2)) x = x.view(-1, 320) x = F.relu(self.fc1(x)) x = F.dropout(x, training=self.training) x = self.fc2(x) return F.log_softmax(x, dim=1) def train(epoch): model.train() for batch_idx, (data, target) in enumerate(train_loader): if use_cuda: data, target = data.cuda(), target.cuda() optimizer.zero_grad() output = model(data) loss = F.nll_loss(output, target) #和TPSNet中的log_softmax搭配，就是CE loss loss.backward() optimizer.step() if batch_idx

04

教程 | PyTorch经验指南：技巧与陷阱

项目地址：https://github.com/Kaixhin/grokking-pytorch

02

PyTorch: Softmax多分类实战操作

多分类一种比较常用的做法是在最后一层加softmax归一化，值最大的维度所对应的位置则作为该样本对应的类。本文采用PyTorch框架，选用经典图像数据集mnist学习一波多分类。

05

天天用AI还不知道AI是怎么反馈的？一文了解生成模型常见损失函数Python代码实现+计算原理解析

损失函数无疑是机器学习和深度学习效果验证的核心检验功能，用于评估模型预测值与实际值之间的差异。我们学习机器学习和深度学习或多或少都接触到了损失函数，但是我们缺少细致的对损失函数进行分类，或者系统的学习损失函数在不同的算法和任务中的不同的应用。因此有必要对整个损失函数体系有个比较全面的认识，方便以后我们遇到各类功能不同的损失函数有个清楚的认知，而且一般面试以及论文写作基本都会对这方面的知识涉及的非常深入。故本篇文章将结合实际Python代码实现损失函数功能，以及对整个损失函数体系进行深入了解。

06

PyTorch 系列教程之空间变换器网络

在本教程中，您将学习如何使用称为空间变换器网络的视觉注意机制来扩充您的网络。你可以在DeepMind paper 阅读更多有关空间变换器网络的内容。

03

适用于稀疏的嵌入、独热编码数据的损失函数回顾和PyTorch实现

自1986年[1]问世以来，在过去的30年里，通用自动编码器神经网络已经渗透到现代机器学习的大多数主要领域的研究中。在嵌入复杂数据方面，自动编码器已经被证明是非常有效的，它提供了简单的方法来将复杂的非线性依赖编码为平凡的向量表示。但是，尽管它们的有效性已经在许多方面得到了证明，但它们在重现稀疏数据方面常常存在不足，特别是当列像一个热编码那样相互关联时。

06

STN：空间变换网络(Spatial Transformer Network)「建议收藏」

卷积神经网络定义了一个异常强大的模型类，但在计算和参数有效的方式下仍然受限于对输入数据的空间不变性。在此引入了一个新的可学模块，空间变换网络，它显式地允许在网络中对数据进行空间变换操作。这个可微的模块可以插入到现有的卷积架构中，使神经网络能够主动地在空间上转换特征映射，在特征映射本身上有条件，而不需要对优化过程进行额外的训练监督或修改。我们展示了空间变形的使用结果，在模型中学习了平移、缩放、旋转和更一般的扭曲，结果在几个基准上得到了很好的效果。

03

Pytorch打怪路（二）pytorch进行mnist训练和测试

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/Teeyohuang/article/details/79242946

03

图神经网络的表示方法和使用案例

由于图数据结构无处不在，图神经网络 (GNN) 越来越受欢迎。图使我们能够对科学领域中的许多不同问题进行建模，例如（但不限于）生物学、社会学、生态学、视觉、教育、经济学等。此外，图表示使我们能够处理大规模的非结构化数据。

01

损失函数

一般来说，监督学习的目标函数由损失函数和正则化项组成。(Objective = Loss + Regularization)

01

【他山之石】c++接口libtorch介绍& vscode+cmake实践

“他山之石，可以攻玉”，站在巨人的肩膀才能看得更高，走得更远。在科研的道路上，更需借助东风才能更快前行。为此，我们特别搜集整理了一些实用的代码链接，数据集，软件，编程技巧等，开辟“他山之石”专栏，助你乘风破浪，一路奋勇向前，敬请关注。

01

Pytorch 分布式模式介绍

数据较多或者模型较大时，为提高机器学习模型训练效率，一般采用多GPU的分布式训练。

04

16,8和4位浮点数是如何工作的

50年前Kernighan、Ritchie和他们的C语言书的第一版开始，人们就知道单精度“float”类型有32位大小，双精度类型有64位大小。还有一种具有扩展精度的80位“长双精度”类型，这些类型几乎涵盖了浮点数据处理的所有需求。但是在最近几年，尤其是今年LLM的兴起，为了减小模型的存储和内存占用，开发人员开始尽可能地缩小浮点类型。

03

使用PyTorch Lightning自动训练你的深度神经网络

对使用PyTorch Lightning的训练代码和原始的PyTorch代码进行了对比，展示了其简单，干净，灵活的优点，相信你会喜欢的。

02

【colab pytorch】使用tensorboardcolab可视化

import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim from torch.utils.data import Dataset, DataLoader from torchvision import transforms, utils, datasets !pip install tensorboardcolab from tensorboardcolab import

02

从原始图片数据开始构建卷积神经网络(Pytorch)

入门机器学习的时候，我们往往使用的是框架自带的数据集来进行学习的，这样其实跳过了机器学习最重要的步骤，数据预处理，本文通过从原始数据（图片格式）到卷积神经网络的设计，逐步实现 MNIST 的分类

00

卷积神经网络（CNN）详解

CNN常用于图像识别，在深度学习中我们不可能直接将图片输入进去，向量是机器学习的通行证，我们将图片转换为像素矩阵再送进去，对于黑白的图片，每一个点只有一个像素值，若为彩色的，每一个点会有三个像素值（RGB）

03

卷积神经网络（CNN）详解

CNN常用于图像识别，在深度学习中我们不可能直接将图片输入进去，向量是机器学习的通行证，我们将图片转换为像素矩阵再送进去，对于黑白的图片，每一个点只有一个像素值，若为彩色的，每一个点会有三个像素值（RGB）

03

PyTorch 2.2 中文官方教程（十八）

在大规模训练 AI 模型是一项具有挑战性的任务，需要大量的计算能力和资源。同时，处理这些非常大模型的训练也伴随着相当大的工程复杂性。PyTorch FSDP，在 PyTorch 1.11 中发布，使这变得更容易。

01

pytorch基础知识-Cross Entropy（下）

上节课介绍了Cross Entropy 与 Enropy的区别，本节介绍Cross Entropy到底在二分类问题中是如何运算的。

01

从PyTorch到PyTorch Lightning —简要介绍

PyTorch非常易于使用，可以构建复杂的AI模型。但是一旦研究变得复杂，并且将诸如多GPU训练，16位精度和TPU训练之类的东西混在一起，用户很可能会引入错误。

06

【colab pytorch】使用tensorboard可视化

import datetime import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim from torch.utils.data import Dataset, DataLoader from torchvision import transforms, utils, datasets from tensorflow import summary %load_ext t

04

【CNN调参】图像分类算法优化技巧（实用性很高）

这篇论文的全名是：Bag of Tricks for Image Classification with Convolutional Neural Networks 。论文地址见附录。这篇论文是亚马逊团队对CNN网络调优的经验总结，实验基本是在分类网络实验上做的。目前，论文的复现结果都可以在GluonCV找到，地址为：https://github.com/dmlc/gluon-cv。可以将这篇论文理解为一堆经验丰富的工程师的调参技巧汇总，无论你是在做比赛，做学术，还是已经工作的AI开发者，相信都能从中受益。

01

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭