为什么VAE损失不收敛到零？ - 腾讯云开发者社区

文章/答案/技术大牛

发布

为什么SGD能令神经网络的损失降到零

不过即使针对这样简单的目标函数，为什么随机初始化的一阶梯度方法能实现零的训练误差仍然不太清楚。实际上，许多先前的研究工作都在尝试回答这个问题。...他们尝试的方法包括损失函数面貌分析、偏微分方程、算法动力学分析或最优传输理论等。这些方法或研究结果通常都依赖于标签和输入分布的强假设，或者并没有明示为什么随机初始化的一阶方法能实现零的训练损失。...在这一篇论文中，作者们严格证明了只要 m 足够大，且数据是非退化的，那么使用适当随机初始化的 a 和 W(0)，梯度下降能收敛到全局最优解，且收敛速度对于二次损失函数是线性的。...本论文揭秘了这一现象，即带有 ReLU 激活函数的两层全连接网络为什么能实现零的训练损失。...对于有 m 个隐藏神经元的浅层神经网络（ReLU 激活函数）和 n 项训练数据，我们的实验表示只要 m 足够大，且数据是非退化的，那么随机初始化的梯度下降能收敛到全局最优解，且收敛速度对于二次损失函数是线性的

8242 0

深度学习500问——Chapter07：生成对抗网络（GAN）（2）

不推荐在和ImageNet数据集差别比较大的数据上使用。...VAE原理图如下[6]：在VAE中，真实样本通过神经网络计算出均值方差（假设隐变量服从正态分布），然后通过采样得到采样变量并进行重构。VAE和GAN均是学习了隐变量到真实数据分布的映射。...7.4.4 GAN为什么容易训练崩溃所谓GAN的训练崩溃，指的是训练过程中，生成器和判别器存在一方压倒另一方的情况。...log 每次更新判别器的参数之后把它们的绝对值截断到不超过一个固定常数c 7.4.6 WGAN-GP：带有梯度正则的WGAN 实际实验过程中发现，WGAN没有那么好用，主要原因在于WGAN带有梯度截断。...之所以这么做，作者在原文给出了一张图，交叉熵与最小二乘损失对比图：上面是作者给出的基于交叉熵损失以及最小二乘损失的Loss函数。横坐标代表Loss函数的输入，纵坐标代表输出的Loss值。

5321 0

您找到你想要的搜索结果了吗？

是的

没有找到

Text to image论文精读CogView: Mastering Text-to-Image Generation via Transformers

一、原文摘要文本到图像的生成在一般领域一直是一个开放的问题，这需要一个强大的生成模型和跨模态的理解。我们提出了CogView，一个带有VQ-VAE标记器的40亿参数变压器来解决这个问题。...二、为什么提出CogView 2.1 文本生成图像的任务难度目前的各种文本生成图像任务，我们期望模型具有（1）从像素中分离形状、颜色、手势和其他特征；（2）理解输入文本；（3）将物体和特征与对应的单词及其同义词对齐...（四种图像的tokenizer方法均能收敛到相似的水平） 3.4 第二阶段：Auto-regressive Transformer CogView的主网络是单向Transformer（GPT）。...，如果文本标记的权重设置为零，模型将无法找到文本和图像之间的连接，并生成与输入文本完全无关的图像。...**该残差分支确保了每层的输入值的比例在一个合理范围内，帮助模型更好的收敛。

5590 0

NeurIPS`25 Oral | 超越HunyuanVideo！字节开源首个工业级720p视频生成自回归模型

InfinityStar 采用统一的自回归管道，能够在一个模型中完成文本到图像、文本到视频、图像到视频、视频外推等任务。...解决离散分词器“冷启动”问题，使离散表示快速逼近连续空间的语义，训练收敛速度显著提升，VT质量PSNR从29.1提升至33.4。...知识继承：本文不从零训练，而是继承预训练连续视频 VAE 的编码器与解码器结构，在其间插入无参数二元球形量化器。此操作不引入额外参数（如VQ-VAE的码本），直接复现 VAE 的结构与语义表征。...如图2所示，即使无微调，重建质量已显著优于从零训练或继承图像VAE的方案。微调时，将原始VAE的KL损失替换为“承诺损失+熵惩罚”，联合优化图像与视频数据，显著加速收敛。...零样本能力：未做任何微调，即可完成图像→视频与视频外推任务，时序连贯、语义保真。

5521 0

【GNN】VGAE：利用变分自编码器完成图重构

VAE 模型中，我们假设这个后验分布服从正态分布，并且对于不同样本来说都是独立的，即样本的后验分布是独立同分布的。可能大家会有个疑问：为什么是服从正态分布？为什么要强调是各样本分布是独立的？...这样的重构过程中免不了受到噪声的影响，噪声会增加重构的难度，不过好在这个噪声的强度可以通过方差反应，方差可以通过一个神经网络得到计算，所以最终模型为了更好的重构会尽量让模型的方差为零，而方差为零时，就不存在随机性了...为了防止噪声为零不再起作用，VAE 会让所有的后验分布都向标准正态分布看齐，衡量两个分布的距离，我们有 KL 散度：其中，d 为隐变量的维度。变分自编码中的变分是指变分法，用于对泛函求极值。...我们将约束两个分布的 KL 散度加入到损失函数中，则有：简单来说，VAE 的本质就是利用两个编码器分别计算均值和方差，然后利用解码器来重构真实样本，模型结构大致如下： ?...两层卷积神经网络定义为：其中，和共享第一层参数，不共享第二层参数；是对称标准化邻接矩阵。 VGAE 的解码器则是利用隐变量的内积来重构邻接矩阵：其中，.

4.4K4 0

视觉模型权重无缝迁移下游任务，SiT收敛提速近47倍

C2: 结构不匹配：生成模型多为基于 VAE 的潜空间扩散模型，而大多数图像理解任务并不使用 VAE。此外， ViT 结构在图像生成任务中通常会进行修改。...如果能够有效地对齐这些表征，扩散模型的收敛速度和最终性能都可以得到显著提升。...输入图像首先经过 VAE 编码到潜空间，并通过 PatchConv 进行图片分块。...部分块按照设定 mask 比例被随机掩码，未掩码的块输入到 ViT 编码器，而解码器负责重建掩码块，损失函数仅使用简单的 MSE loss。在预训练阶段，VAE 参数被冻结，仅训练 ViT 编码器。...VAE 提供了一种对抗噪声的方式，通过潜空间中的信息提取，模型可能学习到更鲁棒的特征。

4331 0

自动编码器及其变种

该网络的目的是重构其输入，使其隐藏层学习到该输入的良好表征。其学习函数为 h(x)≈x h ( x ) ≈ x h(x) \approx x。...这些约束强制模型考虑输入数据的哪些部分需要被优先复制，因此它往往能学习到数据的有用特性。...收缩自动编码器（CAE/contractive autoencoder）（对抗扰动）去燥自编码器（DAE）最基本的一种自动编码器，它会随机地部分采用受损的输入(就是将输入做噪声处理或某些像素置零处理...为什么自动编码器大多显示3层结构，训练多层时需要多次使用？三层网络是单个自编码器所形成的网络，对于任何基于神经网络的编码器都是如此。...而逐层训练可以直接使用前面已经能提取完好特征的网络，使得整个网络的初始化在一个合适的状态，便于收敛。

1.1K1 0

从为什么不写技术文章了，到如何规划你的未来

整体下来，这个过程的核心就是需要表达，其实就是同一个事情，不同的人为什么能有不同的效果，这个可以去看看其他人的文章对比一下表达是过程，而对应的要怎么做好下一次表达（写文章、开会、讨论）呢，那就是上次的分享...比如一个不怎么懂前端的小白，如何无厘头地从0到1去写某个陌生的领域的mvp版本的文章：如何从0到1做一个vr游戏：了解一下vr基本概念以及所需的技术点了解一下vr怎么在设备跑起来，vr应用的开发具体怎么开发...就是从0到90分和从90分到无限接近100分的区别，然后还多了一群蜂拥而至的竞争对手。...一般来说，大家到后面应该是会根据自己擅长的和想学想做的来选择小结：想要成为什么样的人，缺少什么需要补的，需要做什么才能成为这样抓住问题、结果导向就先来一个可能很多人都幻想过的事情来说吧——“...我想成为前端架构师” 为什么想要成为前端架构师？

4881 0

VAE 的前世今生：从最大似然估计到 EM 再到 VAE

EM 算法和 VAE 都会迭代式地优化 ELBO。具体而言，它们会交替地从和 θ 上优化 ELBO，直至收敛。...在这里，我们模型的复杂度由简单到复杂分为三个等级：（1）等式具有封闭解。在这种情况下，我们计算每个驻点上的似然，并求最大值。...我们定义：则最优的新参数以上的 E 步和 M 步会迭代重复直至收敛。整体的算法流程如下：相较于梯度法，EM 算法的优点在于其单调收敛性、低计算开销，它在一些重要的模型上有出色的性能。...在这两个目标的作用下，VAE 通过学习使 z 称为 x 的最高效的表征，即 z 被解耦到不同的维度上。...VAE 的简单变体 β-VAE 为 KL 损失引入了一个大于 1 的放缩因子，从而提升解耦的重要性。

1.7K2 0

深度学习入门：用MNIST完成Autoencoder

再简单介绍了一下VAE，VAE相关代码放在Python中文社区的Github中。 Autoencoder基本是Deep Learning最经典的东西，也是入门的必经之路。...在这里提一下，为什么我们要将图片设置为28*28？ 28*28的特征图大小可以防止输入的连接掉到边界之外，不导致梯度损失。大家觉得自编码器可以在没有标签的时候学习到数据的有用表达。...要获得一个自监督的模型，你需要想出一个靠谱的目标函数和一个损失函数。我们首先将Autoencoder用这些图片来训练，得到784长度的向量。...同时这些数据集的图像已经完成了归一化，也就是说要么是一，要么是零。首先我们先建立一个单层ReLu隐藏层来完成一个很简单的Autoencoder，这一层是用来做压缩的。

1.7K6 0

群友：事务中的异常不也抛出了，为什么没catch到而回滚？

上周，我们通过这篇文章《为什么catch了异常，但事务还是回滚了？》...(https://blog.didispace.com/will-this-transcation-rollback/) 《为什么catch了异常，但事务还是回滚了？》...所以，这里教大家一个简单方法来理解这次test4的catch为什么没有捕获异常。...org.springframework.orm.jpa.JpaTransactionManager 然后尝试触发test4的执行，通过DEBUG，我们都可以观察到： test4中我们加的断点，除了47行没进入...通过日志，我们也能观察到这样的执行顺序：好了，通过这样来看，是不是要比之前有进一步的理解了呢？如果您还想更深入的了解事务的底层运行机制，一定要debug下源码，自己过一遍，理解会深刻哦！

1K2 0

变分自编码器VAE的数学原理

假设数据是由一些随机过程产生的，这里包含一个未观察到的随机变量z(即潜在变量)。...所以理论上后验p(z|⁽ⁱ⁾;θ)可以在计算分母中的积分后计算出来，这涉及到枚举不可观测变量z可能具有的所有可能值。...ϕ 和 θ；重复前 4 个步骤直到收敛。...自动编码器一般都是在重建损失ℒ(⁽ⁱ⁾)，平方误差，||x̂⁽ⁱ⁾ − x⁽ⁱ⁾||²下学习。对于 VAE，未观察到的变量 z 可以解释为分布编码。...VAE损失函数中的MC估计项恰好是负对数似然的形式，因此可以作为重建损失，损失函数中还包含一个 KL 散度项，它充当正则化项并强制分布 q(z|x; ϕ) 接近先验 p(z; θ)。

1.5K3 0

清华 & MIT & 英伟达联合提出视觉理解与生成相结合的统一基础模型 VILA-U ！

（1）现有的端到端自回归VLMs无法实现具有竞争力视觉理解的性能，原因在于离散的VQ标记只通过图像重构损失进行训练，且与文本输入不匹配。...通过这种训练过程，视觉基础塔学习到提取适用于作者在VLM中理解和生成的离散特征。统一的训练配方。对比和重构损失的直接组合收敛不可行。这是因为对齐和重构任务分别需要高级语义和低级外观特征。...在实践中，作者观察到，从头训练分量量化的视觉基础塔使用图像重构和对比损失会导致在ImageNet上的零样本图像分类的Top-1准确性在经过几轮训练后仅为5%。...然后，作者把文本编码器冻结，并使用对比和重构损失训练所有视觉组件。对比损失保持对齐能力，而重构损失发展重构能力。这种训练方法收敛迅速且性能强大。...作者的统一视觉塔在MJHQ-30K上的FID结果略逊于RQ-VAE，这可能是由于引入对比损失导致的rFID的降低。

7371 0

学界 | ICLR 2018接收论文公布：接收率高达42.7%

对于平滑的损失函数，我们的过程相对于经验风险最小化可以证明有适度的鲁棒性，且计算成本或统计成本也相对较小。此外，我们的统计保证允许我们高效地证明总体损失的鲁棒性。...，并通过反例证明了 Adam 在某些情况下可能会不收敛。...根据经验观察，这些算法有时并不能收敛到最优解（或非凸条件下的临界点）。我们证明了导致这样问题的一个原因是这些算法中使用了指数滑动平均（exponential moving average）操作。...本论文提供了一个简单的凸优化案例，其中 ADAM 方法并不能收敛到最优解。此外，我们还描述了过去文献中分析 ADAM 算法所存在的精确问题。...我们的分析表明，收敛问题可以通过赋予这些算法对前面梯度的「长期记忆」能力而得到解决。因此本论文提出了一种 ADAM 算法的新变体，其不仅解决了收敛问题，同时还提升了经验性能。 ?

1.2K6 0

GAN 并不是你所需要的全部：从AE到VAE的自编码器全面总结

他们的工作是找到一个高维输入的低维表示，在不损失内容的情况下重建原始输入。从下图所示的quickdraw 数据集中获取“斧头”。图像为 28x28 灰度，这意味着它由 784 个像素组成。...如果分布的许多维度是相关的，则会出现额外的协方差参数，但在 VAE 中，假设所有维度都是独立的，这样所有协方差为零。...在 VAE 中损失函数是需要扩展得，因为交叉熵或 RMSE 损失是一种重建损失——它会惩罚模型以产生与原始输入不同的重建。...也就是说：如果均值不为零且方差不为 1，则会产生损失。...另外就是需要将其缩放到输入图像的大小，以确保它与重建损失具有相似的比例并且不会占主导地位。既然不是主导地位，为什么我们要把这个 KL 部分加到损失中呢？ 1、它使潜在空间中的随机点采样变得简单。

1.3K1 0

Nat. Commun. | msiPL：质谱数据分析的新工具

这些MSI数据集需要从标准化格式imzML转换为HDF5格式以输入到msiPL模型中。...该模型是基于变分自编码器（VAE）的结构，VAE旨在同时优化用于变分推理的概率编码器和概率解码器。...这里采用KL散度来衡量两个分布的接近程度：其中VAE的编码器和解码器的参数都是通过神经网络优化损失函数来计算的，优化的损失函数如下：该损失函数的第一项充当编码器的正则化器，它计算近似后验和先验之间的接近度...使用msiPL模型在该数据集上进行降维和可视化实验，其VAE网络损失函数下降结果如图3（a），即模型在不到100次迭代后收敛；图3（b）给出了原始数据和预测数据的光谱分布，它们的叠加反映了模型的高质量估计...使用msiPL模型在该数据集上进行降维和可视化实验，图4（a）表面VAE网络的损失在不到100次迭代内达到稳定收敛，图4（b）表示在误差内预测数据的光谱分布；图4（c）表示模型在该数据集上的非线性嵌入的可视化结果

9453 0

英伟达发布“平民版”Sora，720P分钟级视频，一块显卡就能跑！

训练策略阶段1：文本到图像（T2I）上的 VAE 适配。由于图像和视频 VAE 之间的不匹配，从头开始训练视频 DiT 模型资源密集。...这两种 VAE 的适配都非常高效，在 5-10k 的训练步骤内收敛，进一步证明了本文的 Linear DiT 的强泛化能力。阶段2：从 T2I 模型继续预训练。...新添加的层通过跳跃连接进行零初始化，这在早期训练过程中最小化了它们对预训练权重的影响。在这种身份初始化之后，SANA-Video 以粗到细的方式进行训练。...RoPE 变换可能改变 ReLU 输出的非负性质，可能导致标准线性注意力公式（方程 2）中的分母变为零。...首先，DCAE-V 的 32 个潜在通道与本文预训练的 T2I 模型对齐，提高了收敛速度。

3591 0

详解自动编码器(AE)

使用tanh作为激活函数时,loss变化情况如下：可以观察到,loss收敛到0.0685,效果较好.使用relu作为激活函数同样能够有效收敛,不过误差数值相对较大.由于篇幅原因不将图片在此进行展示...可以看到,在两个训练阶段,方法可以有效的达到收敛....可以看到和stacked AE的主要区别在于局部卷积连接，而不所有层都是全连接。...可以看散度可以收敛到145的情况,能够有效进行收敛. 在自监督的训练过程,使用 KL散度+方均根作为loss函数,loss变化情况如下. 对于两种损失函数效果的讨论在下文中进行....方法在图像生成领域有出色的表现,将中间的隐变量约束为正太分布的形式,十分方便的通过生成器完成图像生成. 5.在研究角度,VAE方法将概率方法引入神经网络的计算体系中,通过网络完成对概率分布的映射,使用散度的概念构造损失函数

1.7K3 0

深度学习 | 论文笔记（Lifelong Zero-Shot Learning）

分别对视觉嵌入和语义嵌入的特征进行编码和解码，并使用学习到的潜在特征训练一个零样本学习分类器。...最近，生成对抗网络(GANs)被提出并成功引入到零样本学习问题中。生成零样本学习方法的任务是根据语义特征生成不可见的类别的视觉特征，将零样本学习转换为传统的监督分类任务。...整个模型的VAE损失是两个VAE基本损失的总和: L_{VAE} = L_{VAE}^a + L_{VAE}^v, (2) 其中L_{VAE}^a和L_{VAE}^v分别表示语义模态和视觉模态的VAE...当t>1 L = L_{CACD-VAE} +\beta L_{KD}, (7) 其中\beta为加权知识蒸馏损失的超参数，设为1。...此外，采用顺序微调策略的模型比不采用该策略的模型的结果更差，这表明了零样本学习中存在灾难性遗忘问题。与其他基准相比，我们的方法在前三个数据集中获得了三个评价指标的最佳性能。

2.3K3 0

复旦 & 港科技 & 港中文 &腾讯联合提出 OSV | 实现高质量图像到视频生成只需一步！

SF-V的判别器与预训练的UNet编码器背在第一阶段，是不区分模型，当时，，否则，此外，λ 是超参数。[23]，其中是一个可调整的常数。...鉴于预训练数据分布和蒸馏数据分布之间的不匹配，使用 LoRA 确能保持学生模型的大部分教师模型知识，同时降低图像质量在低步长下的衰减。一致性对抗生成器一致性蒸馏。在第二阶段，作者引入了一致性损失。...作者将具有对抗损失的OSV模型设置为基准-3。为了验证对抗蒸馏的有效性，作者删除了对抗损失，仅使用Huber损失和一致性损失训练OSV模型，并保持相同的训练设置。...仅使用一致性损失会导致学生模型与教师模型的拟合误差增大。 VAE解码器的影响。作者将只使用第一阶段的OSV模型设置为基准-4。...在删除Vae解码器后，NVIDIA H800的训练速度从平均每次4.29秒/迭代提高到2.61秒/迭代。在补充材料中，作者可视化和分析了潜在空间视频和像素空间视频之间的差异。 CFG的影响。

6071 0

点击加载更多

为什么SGD能令神经网络的损失降到零

深度学习500问——Chapter07：生成对抗网络（GAN）（2）

Text to image论文精读CogView: Mastering Text-to-Image Generation via Transformers

NeurIPS`25 Oral | 超越HunyuanVideo！字节开源首个工业级720p视频生成自回归模型

【GNN】VGAE：利用变分自编码器完成图重构

视觉模型权重无缝迁移下游任务，SiT收敛提速近47倍

自动编码器及其变种

从为什么不写技术文章了，到如何规划你的未来

VAE 的前世今生：从最大似然估计到 EM 再到 VAE

深度学习入门：用MNIST完成Autoencoder

群友：事务中的异常不也抛出了，为什么没catch到而回滚？

变分自编码器VAE的数学原理

清华 & MIT & 英伟达联合提出视觉理解与生成相结合的统一基础模型 VILA-U ！

学界 | ICLR 2018接收论文公布：接收率高达42.7%

GAN 并不是你所需要的全部：从AE到VAE的自编码器全面总结

Nat. Commun. | msiPL：质谱数据分析的新工具

英伟达发布“平民版”Sora，720P分钟级视频，一块显卡就能跑！

详解自动编码器(AE)

深度学习 | 论文笔记（Lifelong Zero-Shot Learning）

复旦 & 港科技 & 港中文 &腾讯联合提出 OSV | 实现高质量图像到视频生成只需一步！

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐