自编码器是神经网络的一种，是一种无监督学习方法，使用了反向传播算法，目标是使输出=输入。 自编码器内部有隐藏层 ，可以产生编码表示输入。1986 年Rumelhart 提出。
深度学习中的自编码器。图源：https://debuggercafe.com/autoencoders-in-deep-learning/
选自Medium 作者：Harshvardhan Gupta 机器之心编译 参与：刘晓坤、路雪 去年，Facebook 发表论文《Unsupervised Machine Translation Using Monolingual Corpora Only》，提出使用单语语料库的无监督式机器翻译。近日 Medium 上一篇文章对该论文进行了解读，机器之心对此进行了编译介绍。 深度学习广泛应用于日常任务中，尤其擅长包含一定「人性」的领域，如图像识别。或许深度网络最有用的功能就是数据越多性能越好，这一点与机器
AI100 已经引入 Hugo Larochelle 教授的深度学习课程，会在公众号中推送，并且对视频中的 PPT 进行讲解。课后，我们会设计一系列的问题来巩固课程中的知识。本节课是 Hugo Larochelle 教授深度学习第六章节的第七节课。 课程主要内容 回顾上一节的内容，介绍隐藏层神经元个数多于输入层时的情况。（P2） 讲解contractive 自编码器。（P3 - P7） 图解contractive 自编码器。（P8 - P12） 对比去噪自编码器和contractive 自编码器。（P1
无监督学习的目标之一是不依靠显式的标注得到数据集的内在结构。自编码器是一种用于达成该目标的常见结构，它学习如何将数据点映射到隐编码中——利用它以最小的信息损失来恢复数据。通常情况下，隐编码的维度小于数据的维度，这表明自编码器可以实施某种降维。对于某些特定的结构，隐编码可以揭示数据集产生差异的关键因素，这使得这些模型能够用于表征学习 [7,15]。过去，它们还被用于预训练其它网络：先在无标注的数据上训练它们，之后将它们叠加起来初始化深层网络 [1,41]。最近的研究表明，通过对隐藏空间施加先验能使自编码器用于概率建模或生成模型建模 [18,25,31]。
神经网络从根本上是有监督的——它们接受一组输入，执行一系列复杂的矩阵操作，并返回一组输出。随着世界产生越来越多的无监督数据，简单和标准的无监督算法已经不够用了。我们需要以某种方式将神经网络的深层力量应用于无监督的数据。
AI100 已经引入 Hugo Larochelle 教授的深度学习课程，会在公众号中推送，并且对视频中的 PPT 进行讲解。课后，我们会设计一系列的问题来巩固课程中的知识。本节课是 Hugo La
自编码器（Autoencoder）是一种无监督学习算法，广泛应用于数据的表示学习和降维。自编码器通过将输入数据压缩为低维编码，然后再将其重新构建为与原始数据尽可能相似的输出。本文将详细探讨自编码器在无监督学习和降维中的应用。
这个 repository 是使用 TensorFlow 库实现的多种深度学习算法的实现。这个软件包的目标是作为一种命令行实用程序——你可以将其用来快速训练和评估流行的深度学习模型以及也许使用它们作为与你的自定义模型/数据集比较的基准/标准。如果你想在 ipython 中使用这个软件包或将其整合到你的代码中，作者还发布了一个名叫 yadlt 的 pip 包，然而那是另一个深度学习工具了。
正确理解图像信息在医学等领域是至关重要的。去噪可以集中在清理旧的扫描图像上，或者有助于癌症生物学中的特征选择。噪音的存在可能会混淆疾病的识别和分析，从而导致不必要的死亡。因此，医学图像去噪是一项必不可少的预处理技术。
简而言之，自动编码器通过接收数据、压缩和编码数据，然后从编码表示中重构数据来进行操作。对模型进行训练，直到损失最小化并且尽可能接近地再现数据。通过这个过程，自动编码器可以学习数据的重要特征。
【导读】自编码器可以认为是一种数据压缩算法，或特征提取算法。本文作者Nathan Hubens 介绍了autoencoders的基本体系结构。首先介绍了编码器和解码器的概念，然后就“自编码器可以做什么
在过去的几年里，深度学习方法在几个领域的表现都超过了以往的机器学习技术，其中最突出的一个例子就是计算机视觉。这篇综述文章简要介绍了计算机视觉问题中最重要的一些深度学习方案，即卷积神经网络、深度玻尔兹曼机和深度信念网络，以及叠加去噪自编码器。简要介绍了它们的历史、结构、优点和局限性，然后介绍了它们在各种计算机视觉任务中的应用，如对象检测、人脸识别、动作和活动识别以及人体姿态估计。最后，简要介绍了未来计算机视觉问题深度学习方案的设计方向和面临的挑战。
变分自编码器 (VAE) 是在图像数据应用中被提出，但VAE不仅可以应用在图像中。在这篇文章中，我们将简单介绍什么是VAE，以及解释“为什么”变分自编码器是可以应用在数值类型的数据上，最后使用Numerai数据集展示“如何”训练它。
最近AI圈内乃至整个科技圈最爆的新闻莫过于OpenAI的Sora了，感觉热度甚至远超之前ChatGPT发布时的热度。OpenAI也是放出了Sora的技术报告（有一定的信息量，也留下了大量的想象空间）。
本研究对去噪扩散模型（DDM）进行了解构，发现其关键组件是分词器，而其他组件并非必要。DDM的表现能力主要来自去噪过程而非扩散过程。研究还发现，通过消除类标签条件化项和KL正则化项，使用补丁式分词器可获得与卷积VAE相当的表现。最后，将现代DDM推向经典DAE，通过消除输入缩放和直接定义噪声调度，可获得更好的结果。
本文将介绍一种基于特征分离的通用人类姿态特征的学习算法 Unsupervised Human 3D Pose Representation with Viewpoint and Pose Disentanglement。
今天给大家介绍德国亥姆霍兹慕尼黑中心计算生物学研究所的Fabian J. Theis教授等人发表在Nature Communications上的一篇文章 “Single-cell RNA-seq denoising using a deep count autoencoder” 。单细胞RNA测序 (scRNA-seq) 使研究人员能够以细胞分辨率水平研究基因表达。然而，由于扩增和“dropout”事件产生的噪声可能会阻碍下游分析，因此需要针对越来越数量庞大却稀疏的scRNA-seq数据进行去噪。本文提出了一种深度计数自编码器网络 (DCA) 来去除scRNA-seq数据集的噪声。DCA考虑计数分布、数据的过分散和稀疏性，使用负二项噪声模型 (有或没有零膨胀) 捕获非线性基因-基因依赖关系。DCA模型与细胞的数量成线性关系，因此，可以应用于数百万个细胞的数据集。DCA改进了使用模拟和真实数据集的多种典型的scRNA-seq数据分析。DCA在数据插补的质量和速度上都优于现有的方法，增强了生物发现能力。
在生物医学领域，分析大规模、高维度的单细胞数据，并且处理由分批实验效应和不同制备造成的数据噪声是当前的挑战；单细胞数据的大规模、高维度处理比较困难，需要考虑数据中不同程度的噪声、分批效应、人工误差、稀疏异质性。
在深度学习中，自编码器是非常有用的一种无监督学习模型。自编码器由encoder和decoder组成，前者将原始表示编码成隐层表示，后者将隐层表示解码成原始表示，训练目标为最小化重构误差，而且一般而言，隐层的特征维度低于原始特征维度。 自编码器只是一种思想，在具体实现中，encoder和decoder可以由多种深度学习模型构成，例如全连接层、卷积层或LSTM等，以下使用Keras来实现用于图像去噪的卷积自编码器。 1 结果 先看一下最后的结果，使用的是手写数字MNIST数据集，上面一行是添加噪音的图像，下面一
当前语义分割任务存在一个特别常见的问题是收集 groundtruth 的成本和耗时很高，所以会使用预训练。例如监督分类或自监督特征提取，通常用于训练模型 backbone。基于该问题，这篇文章介绍的方法被叫做 decoder denoising pretraining (DDeP)，如下图所示。
近日，Facebook 发表论文，提出一种为预训练序列到序列模型而设计的去噪自编码器 BART。BART 通过以下步骤训练得到：1）使用任意噪声函数破坏文本；2）学习模型来重建原始文本。BART 使用基于 Transformer 的标准神经机器翻译架构，可泛化 BERT（具备双向编码器）、GPT（具备从左至右的解码器）等近期出现的预训练模型，尽管它非常简洁。Facebook 研究人员评估了多种噪声方法，最终通过随机打乱原始句子的顺序，再使用新型文本填充方法（即用单个 mask token 替换文本段）找出最优性能。
今天为大家介绍的是来自Guy-Bart Stan和Yiren Zhao团队的一篇论文。虽然生成对抗网络（GANs）在DNA生成领域得到了广泛关注，但它们常常面临样本多样性有限和模式崩溃的问题。与此相反，扩散模型作为一种新兴的生成模型类别，没有这些问题，并已在图像生成等领域达到最新水平。鉴于此，作者提出了一种新的潜在扩散模型，DiscDiff，专门用于离散DNA序列的生成。通过使用自动编码器将离散DNA序列嵌入到连续的潜在空间，模型能够利用连续扩散模型的强大生成能力来生成离散数据。
传统的自动编码器是一种数据的压缩算法 其算法包括编码阶段和解码阶段，且拥有对称的结构。
在机器学习领域中，自编码器（Autoencoder）是一种强大的神经网络架构，用于数据降维和特征提取。自编码器通过训练过程将输入数据映射到低维编码空间，然后再将其重构为原始数据。本文将深入探讨自编码器的原理、应用以及代码示例，帮助读者理解其在数据处理中的重要性。
原文链接：http://www.chenjianqu.com/show-62.html
基于扩散和基于分数的生成模型最近在合成逼真的高分辨率图像方面取得了成功,相比 GAN 取得了更好的结果。这两种模型紧密相关，优化的是相似的目标。而本文考虑的是 DPMs 是否能够成为一个良好的表示学习器.具体而言，本文试图提取一个包含高层语义且允许近乎精确重构图像的有意义且可解码的表示。本文的探索重点是扩散模型，但这些贡献也适用于基于分数的模型。
你还记得胶卷相机的时代吗？冲洗照片是一个神秘的过程，只有摄影师和专业人士才能够驾轻就熟。大多数人的印象中只有弥漫着昏暗红光的暗室。简而言之，冲洗照片是一个耗时的过程。
TLDR: 本文提出了一种新的用于推荐的自适应图对比学习范式，通过两种不同的自适应对比视图生成器来实施数据增强，以此提升协同过滤的效果。作者分别使用图生成模型和图去噪模型作为可训练的对比视图生成器，以此引入额外的自监督信号，缓解推荐数据中的稀疏和噪声问题。与此同时，自适应的的对比视图还解决了此前基于传统数据增强方法导致的对比学习模型坍塌问题。
深度学习算法(第28期)----如何高效的训练自编码器？ 今天我们一起学一下自编码器中相关的可视化方面以及无监督预训练方面的知识。
1997年，美国IBM公司的“深蓝”（Deep Blue）超级计算机以2胜1负3平战胜了当时世界排名第一的国际象棋大师卡斯帕罗夫。 深蓝能算出12手棋之后的最优解，而身为人类的卡斯帕罗夫只能算出10手棋。 深蓝的核心是通过穷举方法，生成所有可能的下法，然后执行尽可能深的搜索，并不断对局面进行评估，尝试找出最佳的一手。 简单地说，深蓝是以暴力穷举为基础，并且是专注国际象棋的专用人工智能
“深度学习是一个基于赋予大型神经网络多层隐含的机器学习领域，以学习具有较强预测能力的特征。尽管深度学习技术是早期神经网络的后代，但它们利用无监督和半监督学习，结合复杂的优化技术，实现了最新的精确度。” 为了从训练样本中提取代表性特征，通常通过堆叠自编码器来构建深度神经网络，这是一种特殊类型的单层神经网络（Hinton and Salakhutdinov 2006）。自动编码器通过使用与训练实例和目标标签相同的未标记输入来训练。去噪自动编码器是通过随机破坏自编码器的输入矩阵来训练的。由于自动编码器不使用训
有些同学在刚开始看论文的时候，经常会遇到编码器、解码器、自编码器（AutoEncoder）这些字眼，它们到底是干什么的呢？其主要作用又是什么呢？那么本篇主要带大家了解自编码器(AutoEncoder)。
生成模型是机器学习中一个有趣的领域，在这个领域中，网络学习数据分布，然后生成新的内容，而不是对数据进行分类。生成建模最常用的两种方法是生成对抗网络(GAN)和可变自编码器(VAE)。在这篇文章中，我将尝试解释可变自动编码器(VAE)背后的原理，以及它是如何生成上述面的数据的。
现有的深度边缘检测网络通常基于包含了上下采样模块的编码器 - 解码器架构，以更好的提取多层次的特征，但这也限制了网络输出既准又细的边缘检测结果。
目前，计算机视觉神经网络被大量参数化：它们通常有数千万或数亿个参数，这是它们成功利用大型图像集合 (如 ImageNet) 的关键。然而，这些高容量模型往往会在小型（包含数十万张图像）甚至中型数据集上过度拟合。因此，有研究者指出在 2014 年：学习 CNN 的过程相当于估计模型数百万个参数，这需要大量的带标注的数据。
论文链接：https://arxiv.org/pdf/2201.03898.pdf
机器之心报道 编辑：蛋酱 在这篇新论文中，TOELT LLC 联合创始人兼首席 AI 科学家 Umberto Michelucci 对自编码器进行了全面、深入的介绍。 论文链接：https://arxiv.org/pdf/2201.03898.pdf 神经网络通常用于监督环境。这意味着对于每个训练观测值 x_i，都将有一个标签或期望值 y_i。在训练过程中，神经网络模型将学习输入数据和期望标签之间的关系。 现在，假设只有未标记的观测数据，这意味着只有由 i = 1，... ，M 的 M 观测数据组成的训练
创建异常检测模型，实现生产线上异常检测过程的自动化。在选择数据集来训练和测试模型之后，我们能够成功地检测出86%到90%的异常。
在AI盛行的当下，文本生成领域由ChatGPT独领风骚，文生图领域的头部则要数Midjourney和Stable Diffusion了。本文的主旨是向大家介绍Stable Diffusion的原理，后续会推出几期Stable Diffusion相关的干货分享，敬请期待。
自监督学习（SSL）是一种机器学习方法，最近在各种时间序列任务上取得了令人印象深刻的表现。SSL最显著的优点是它减少了对标记数据的依赖。基于预训练和微调策略，即使是少量的标记数据也能实现高性能。
【导读】自编码器是一种非常直观的无监督神经网络方法，由编码器和解码器两部分构成，自编码器近年来很受研究人员的欢迎。本文是机器学习工程师Jeremy撰写的一篇非常棒的博文，介绍了变分自编码器理论基础和工作原理，通过人脸示例帮助读者更直观的理解。本文强调了变分自编码器的理论推导和实现细节，在文末展示了变分自编码器作为生成模型的输出结果。希望深入理解变分自编码器的读者不妨读一读。 Variational autoencoders 变分自编码器 自编码器是发现数据的一些隐状态（不完整，稀疏，去噪，收缩）表示的模型
一般用来作逐层无监督预训练，但自从dropout、relu等提出后，已经没什么人用了。
自编码器是一种能够通过无监督学习，学到输入数据高效表示的人工神经网络。输入数据的这一高效表示称为编码（codings），其维度一般远小于输入数据，使得自编码器可用于降维（查看第八章）。更重要的是，自编码器可作为强大的特征检测器（feature detectors），应用于深度神经网络的预训练（查看第十一章）。此外，自编码器还可以随机生成与训练数据类似的数据，这被称作生成模型（generative model）。比如，可以用人脸图片训练一个自编码器，它可以生成新的图片。
传统机器学习任务任务很大程度上依赖于好的特征工程，但是特征工程往往耗时耗力，在视频、语音和视频中提取到有效特征就更难了，工程师必须在这些领域有非常深入的理解，并且需要使用专业算法提取这些数据的特征。深度学习则可以解决人工难以提取有效特征的问题，大大缓解机器学习模型对特征工程的依赖。
三层网络结构：输入层，编码层（隐藏层），解码层。 训练结束后，网络可由两部分组成：1）输入层和中间层，用这个网络对信号进行压缩；2）中间层和输出层，用这个网络对压缩的信号进行还原。图像匹配就可以分别使用，首先将图片库使用第一部分网络得到降维后的向量，再讲自己的图片降维后与库向量进行匹配，找出向量距离最近的一张或几张图片，直接输出或还原为原图像再匹配。 该网络的目的是重构其输入，使其隐藏层学习到该输入的良好表征。其学习函数为 h(x)≈x h ( x ) ≈ x h(x) \approx x。但如果输入完全等于输出，即 g(f(x))=x g ( f ( x ) ) = x g(f(x)) = x，该网络毫无意义。所以需要向自编码器强加一些约束，使它只能近似地复制。这些约束强制模型考虑输入数据的哪些部分需要被优先复制，因此它往往能学习到数据的有用特性。一般情况下，我们并不关心AE的输出是什么（毕竟与输入基本相等），我们所关注的是encoder，即编码器生成的东西，在训练之后，encoded可以认为已经承载了输入的主要内容。 自动编码器属于神经网络家族，但它们与PCA（主成分分析）紧密相关。尽管自动编码器与PCA很相似，但自动编码器比PCA灵活得多。在编码过程中，自动编码器既能表征线性变换，也能表征非线性变换；而PCA只能执行线性变换。
自编码器（Autoencoder，AE），是一种利用反向传播算法使得输出值等于输入值的神经网络，它先将输入压缩成潜在空间表征，然后通过这种表征来重构输出。 自编码器由两部分组成： 编码器：这部分能将输
LeCun究竟是经过了怎样的思考，才得出了世界模型是AI大模型未来最理想道路的结论？
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
