这是一个造轮子的过程，但是从头构建LSTM能够使我们对体系结构进行更加了解，并将我们的研究带入下一个层次。
神经网络中存在着全连接层、卷积层、池化层和循环层等各种各样的层。虽然PyTorch提供了大量常用的层，但有时还是需要我们自定义层。本篇文章介绍如何使用Module类来自定义层。
在写 PyTorch 代码时，我们会发现在 torch.nn.xxx 和 torch.nn.functional.xxx 中有一些功能重复的操作，比如卷积、激活、池化。这些操作有什么不同？各有什么用处？
（1）nn.Module在pytorch中是基本的复类，继承它后会很方便的使用nn.linear、nn.normalize等。
本文主要首先介绍一篇年代久远但意义重大的论文A Neural Probabilistic Language Model(2003)，然后给出PyTorch实现
Pytorch提供的方法比numpy更全面，运算速度更快，如果需要的话，还可以使用GPU进行加速。
BatchNorm模块能让模型训练更加稳定，因而被广泛使用。它的中心化以及缩放步骤需要依赖样本统计得到的均值和方差，而这也导致了在归一化的过程，忽视了各个实例的区别。其中，中心化步骤是为了增强信息特征，减少噪声。而缩放步骤是为了让特征服从一个稳定的分布。考虑到不同实例有不同特点，我们引入了简单有效的特征校准步骤（feature calibration scheme），改进得到Representative BatchNorm，在各大图像任务均有一定的提升。
这篇文章的重点不在于讲解FR的各种Loss，因为知乎上已经有很多，搜一下就好，本文主要提供了各种Loss的Pytorch实现以及Mnist的可视化实验，一方面让大家借助代码更深刻地理解Loss的设计，另一方面直观的比较各种Loss的有效性，是否涨点并不是我关注的重点，因为这些Loss的设计理念之一就是增大收敛难度，所以在Mnist这样的简单任务上训练同样的epoch，先进的Loss并不一定能带来点数的提升，但从视觉效果可以明显的看出特征的分离程度，而且从另一方面来说，分类正确不代表一定能能在用欧式/余弦距离做1:1验证的时候也正确...
上述几个属性中，_parameters、_modules和_buffers这三个字典中的键值，都可以通过self.key方式获得，效果等价于self._parameters['key'].
【前言】：看代码的时候，也许会不理解VIT中各种组件的含义，但是这个文章的目的是了解其实现。在之后看论文的时候，可以做到心中有数，而不是一片茫然。
本节将介绍在pytorch中非常重要的类：nn.Module。在实现自己设计的网络时，必须要继承这个类，示例写法如下
Module 类是 torch.nn 模块里提供的一个模型构造类，是所有神经网络模块的基类，我们可以继承它来定义我们想要的模型。
2018年的深度兴趣演化网络, DIEN(DeepInterestEvolutionNetWork)。
由于pytorch的whl 安装包名字都一样，所以我们很难区分到底是基于cuda 的哪个版本。
构建推荐系统的关键点在于学习有效的交叉特征。特征的交叉一般通过哈达玛积来表示，比如x1表示性别，男、女；x2表示是否喜欢体育；x1&x2联合特征，会有4种取值。通过特征交叉，可以给模型带来一定的非线性表示。DCN在实际应用中，当处理十亿级别的训练数据样本时，其Cross网络部分在建模特征交叉时表达能力受限。尽管，交叉特征建模在学术上已经提出了很多新的技术方法， 但在实际工程中，许多深度学习模型仍然是通过传统的前馈神经网络来实现特征交叉建模。
【GiantPandaCV导语】Vision Transformer将CV和NLP领域知识结合起来，对原始图片进行分块，展平成序列，输入进原始Transformer模型的编码器Encoder部分，最后接入一个全连接层对图片进行分类。在大型数据集上表现超过了当前SOTA模型
第1篇是2016年的Deep&Wide,第2篇是2017年的Deep&Cross(DCN),第3篇是2020年的DCN-V2.
\[\begin{aligned} f(x) &= \left(x - 4 \right) \left(x - 8\right) + rand \\ &= x ^ 2 - 12 x + 32 + rand \end{aligned} \]
本文证明了蒙面自动编码器（MAE）是一种可扩展的计算机视觉自监督学习器。我们的MAE方法很简单：我们屏蔽输入图像的随机补丁并重建丢失的像素。
一 卷积操作：在pytorch搭建起网络时，大家通常都使用已有的框架进行训练，在网络中使用最多就是卷积操作，最熟悉不过的就是
当然还有一些像：torch.zeros()、torch.zeros_()、torch.ones()、torch.ones_()等函数；
本人近期开始尝试基于pytorch框架，从原理上理解深度学习。在这几个demo中将会展示一些基本的操作及其效果，并基于个人的一点粗浅理解进行原理描述，如有不当之处还请指正。
论文： https://arxiv.org/pdf/1909.03834v2.pdf
根据论文所述，我这里设定window size=2，即每个中心词左右各取2个词作为背景词，那么对于上面的list，窗口每次滑动，选定的中心词和背景词如下图所示
【GaintPandaCV导语】 最近动态卷积开始有人进行了研究，也有不少的论文发表（动态卷积论文合集https://github.com/kaijieshi7/awesome-dynamic-convolution），但是动态卷积具体的实现代码却很少有文章给出。本文以微软发表在CVPR2020上面的文章为例，详细的讲解了动态卷积实现的难点以及如何动分组卷积巧妙的解决。希望能给大家以启发。
图神经网络(gnn)是一类功能强大的神经网络，它对图结构数据进行操作。它们通过从节点的局部邻域聚合信息来学习节点表示(嵌入)。这个概念在图表示学习文献中被称为“消息传递”。
我们要明确任务是通过一个文本序列（分词后的序列）去预测下一个字出现的概率，tensorflow代码如下：
之前我们就已经了解了pytorch和tensorflow中的变量，本节我们深入了解可训练的参数-变量
通过上面的例子可以看到，nn.parameter.Paramter的requires_grad属性值默认为True。另外上面例子给出了三种读取parameter的方法，推荐使用后面两种（这两种的区别可参阅Pytorch: parameters(),children(),modules(),named_*区别），因为是以迭代生成器的方式来读取，第一种方式是一股脑的把参数全丢给你，要是模型很大，估计你的电脑会吃不消。
今天来介绍一个工程上的常用Trick，即折叠Batch Normalization，也叫作折叠BN。我们知道一般BN是跟在卷积层后面，一般还会接上激活函数，也就是conv+BN+relu这种基本组件，但在部署的时候前向推理框架一般都会自动的将BN和它前面的卷积层折叠在一起，实现高效的前向推理网络，今天我就从原理和实现来讲一讲这个操作。
【GiantPandaCV导读】近几年，Attention-based方法因其可解释和有效性，受到了学术界和工业界的欢迎。但是，由于论文中提出的网络结构通常被嵌入到分类、检测、分割等代码框架中，导致代码比较冗余，对于像我这样的小白很难找到网络的核心代码，导致在论文和网络思想的理解上会有一定困难。因此，我把最近看的Attention、MLP和Re-parameter论文的核心代码进行了整理和复现，方便各位读者理解。本文主要对该项目的Attention部分做简要介绍。项目会持续更新最新的论文工作，欢迎大家follow和star该工作，若项目在复现和整理过程中有任何问题，欢迎大家在issue中提出，我会及时回复~
LoRA是Low-Rank Adaptation或Low-Rank Adaptors的缩写，它提供了一种用于对预先存在的语言模型进行微调的高效且轻量级的方法。
最近在做一些分类问题，碰巧一个朋友在面试腾讯的时候，问到了一个问题：你了解到有哪些
ParameterList可以像普通Python列表一样进行索引，但是它包含的参数已经被正确注册，并且将被所有的Module方法都可见。
BN于2015年由 Google 提出，Google在ICML论文中描述的非常清晰，即在每次SGD时，通过mini-batch来对相应的activation做规范化操作，使得结果（输出信号各个维度）的均值为0，方差为1。最后的“scale and shift”操作则是为了训练所需而“刻意”加入的BN能够有可能还原最初的输入，从而保证数据中有用信息的留存。
由于单层的感知机模型的表达能力很差，只能表示线性模型，连最简单的 XOR 函数模型都无法表示，所以出现了多层感知机模型，加入了隐藏层，最简单的多层感知机模型有三层，分别为输入层、隐藏层、输出层，其中隐藏层的元素个数和层数是超参数（即自定义的），如下图所示：
这一期将介绍另一种生成模型—玻尔兹曼机，虽然它现在已经较少被提及和使用，但其对概率密度函数的处理方式能加深我们对生成模型的理解。
基于Transformer的骨干网络，同时使用卷积与自注意力机制来保持全局性和局部性。模型在ResNet最后三个BottleNeck中使用了MHSA替换3x3卷积。属于早期的结合CNN+Transformer的工作。简单来讲Non-Local+Self Attention+BottleNeck = BoTNet
导读：2022年4月，旷视研究院发表了一种基于图像恢复任务的全新网络结构，它在SIDD和GoPro数据集上进行训练和测试，该网络结构实现了在图像去噪任务和图像去模糊任务上的新SOTA。具体计算量与实验效果如下图所示：
本文介绍了如何使用 PyTorch 实现自定义循环神经网络（RNN）。首先介绍了如何定义一个自定义的 RNN 模块，然后通过一个简单的例子展示了如何使用自定义的 RNN 模块构建一个循环神经网络。在例子中，使用 PyTorch 提供的类实现了一个基本的 RNN，该类可以自动求导，并能够处理任意长度的序列。最后，介绍了如何使用 PyTorch 构建更复杂的循环神经网络。
神经网络语言模型（NNLM）是一种人工智能模型，用于学习预测词序列中下一个词的概率分布。它是自然语言处理（NLP）中的一个强大工具，在机器翻译、语音识别和文本生成等领域都有广泛的应用。
联邦学习也称为协同学习，它可以在产生数据的设备上进行大规模的训练，并且这些敏感数据保留在数据的所有者那里，本地收集、本地训练。在本地训练后，中央的训练协调器通过获取分布模型的更新获得每个节点的训练贡献，但是不访问实际的敏感数据。
原标题：PyTorch Callable Neural Networks - Deep earning In Python
我们将得到 torch 、 torch.nn （ nn 代表神经网络，这个包包含在 PyTorch 中创建神经网络的构建块）和 matplotlib 。
调用net = LeNet(classes=2)创建模型时，会调用__init__()方法创建模型的子模块。
Pytorch没有官方的高阶API。一般通过nn.Module来构建模型并编写自定义训练循环。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
