来自 | 博客园 作者 | CZiFan 转自 | 深度学习这件小事 背景 Geoffrey Hinton是深度学习的开创者之一，反向传播等神经网络经典算法发明人，他和他的团队提出了一种全新的神经网络...因此，现在要考虑的是如何在神经网络中建模这些分层关系。在计算机图形学中，三维图形中的三维对象之间的关系可以用位姿表示，位姿的本质是平移和旋转。...更加贴近人脑的思维方式，更好地建模神经网络中内部知识表示的分层关系，胶囊背后的直觉非常简单优雅。...人工神经网络不应当追求“神经元”活动中的视角不变性（使用单一的标量输出来总结一个局部池中的重复特征检测器的活动），而应当使用局部的“胶囊”，这些胶囊对其输入执行一些相当复杂的内部计算，然后将这些计算的结果封装成一个包含信息丰富的输出的小向量...囊间动态路由算法 低层胶囊i 需要决定如何将其输出向量发送给高层胶囊j 。低层胶囊改变标量权重cij ，输出向量乘以该权重后，发送给高层胶囊，作为高层胶囊的输入。
为什么胶囊网络就能学习到位姿信息？ 将同一三维物体从两个不同视角的渲染出图像，作为胶囊网络的输入和输出，目标是图像重构。作者想要证明胶囊网络在处理位置、方向、尺度等方面的优势。...什么是胶囊网络 将神经元替换为胶囊就是胶囊网络。 高层胶囊和低层胶囊之间权重通过dynamic routing获得。...而胶囊网络希望通过一个胶囊能够识别同一类pattern。通过胶囊输出向量的长度代表目标存在的概率估计，向量的方向表示实体的属性。...胶囊计算方式 作者用胶囊输出向量的模长来表示一个胶囊所表征的实体在输入中出现的概率。因此作者采用一个非线性函数对向量进行“压缩”，短向量被压缩到几乎为零，长向量也被压缩到1以下长度。...除了第一层胶囊，胶囊sj的全部输入是对预测向量uj|i的加权求和。
斯蒂文很失望，觉得她第二、三张都应该答对，但是他对悠悠要求太高了，要知道现在深度学习里流行的卷积神经网络 (convolutional neural network, CNN) 给出的答案也和悠悠一样，...Convolutional neural networks are doomed. -- Hinton 大神 Hinton 如此说道“卷积神经网络要完蛋了”，因此他最近也提出了一个 Capsule 的东西...，直译成胶囊。...目录 第一章 - 前戏王 1.1 物体姿态 1.2不变性和同变性 1.3全连接层 1.4卷积神经网络 第二章 - 理论皇 2.1 胶囊定义 2.2 神经元类比 2.3 工作原理 2.4 动态路由 2.5
卷积神经网络的不足之处 卷积神经网络（CNN）虽然表现的很优异，但是针对于旋转或元素平移等变换后的图片，却无法做到准确提取特征。...胶囊神经网络就显式地建模了这些关系，能更精准的理解输入的图片信息。...下图为胶囊神经网络的位姿辨别效果，和其他模型相比，胶囊网络能辨识上一列和下一列的图片属于同一类，但是CNN会认为它们是不同的物品。 ?...对于每个低层胶囊i而言，其权重定义了传给每个高层胶囊j的输出的概率分布。 3. 加权输入向量之和 这一步表示输入的组合，和通常的人工神经网络类似，只是它是向量的和而不是标量的和。 4....从图中可以看出，虽然胶囊神经网络收敛速度有所不及，但是收敛完成之后更加稳定，CNN+池化层准确率一直处于波动中。 ?
他提出了全新的“神经胶囊”理论，这“胶囊”里到底装的是什么“药”呢？ 从神经元到神经胶囊 在大计算和大数据的背景下，深度学习大行其道、大受欢迎，究其原因，卷积神经网络的出色表现，可谓居功至伟。...2017年10月，Hinton教授和他的团队在机器学习的顶级会议“神经信息处理系统大会（NIPS）”上发表论文，超越了自己前期的理论研究——反向传播算法（BP），提出了一种全新的神经网络——胶囊网络（CapsNet...神经胶囊的提出 Hinton在批判CNN不足的同时，已然备好了解决方案，这就是我们即将讨论的“胶囊神经网络（Capsule Network，简称CapsNet）。”...神经胶囊理论基础 1 神经胶囊的生物学基础 我们知道，人工神经网络在很大程度上是模仿生物神经网络而来的。作为“仿生派”的代表人物Hinton，他提出的“神经胶囊”，同样受益于脑科学的研究进展。...于是，在人工神经网络中，Hinton提出了一个对应的结构，它就是我们前面提到的神经胶囊。简单来说，神经胶囊是一组被打包的神经元，它们在内部做了大量运算，而后仅输出一个被压缩的结果——一个高维向量。
这是一种为 3D 点云提出的无监督胶囊架构，并且在 3D 点云重构、配准和无监督分类方面优于 SOTA 方法。 理解对象是计算机视觉的核心问题之一。...具体而言，研究者通过排列等变（permutation-equivariant）的注意力计算对象的胶囊分解，并通过训练成对的随机旋转对象来自监督该过程。...公式 (4) 中的解码器基于每个胶囊运行。本研究采用的解码器架构类似于 AtlasNetV2 [13]（带有可训练的网格）。不同之处在于本研究通过相应的胶囊姿态转换每个胶囊的解码点云； 回归器 K。...研究者只需连接描述符，并通过 ReLU 激活函数调用一系列全连接层，以回归 P 胶囊定位。...由于本研究的描述符只是近似旋转不变（通过扩展），研究者发现在规范化之后重新提取胶囊描述符β_k 很有用。
Hinton最近提出的胶囊神经网络也许能帮助我们解决包括这一问题和其他问题。 这篇文章是胶囊神经网络系列教程的一部分。作为第一篇文章，将介绍常规（卷积）神经网络以及它的一些问题。...这和胶囊神经网络的结构相反。 ? 神经网络结构，来自谷歌的文章，是Szegedy，Toshev＆Erhan提出的神经网络 卷积神经网络有什么问题？...下面是胶囊神经网络能够改善这些问题的几个要点： Hinton说，胶囊神经网络拥有很少层级的分支结构（网络由以神经元组成的层组成，就是这样），并且这使我们需要将每一层的神经元分组到“胶囊”里面，这种“胶囊...胶囊神经网络会计算一个小特征和大特征的姿态关系（跨越边界和旋转）。 这些信息的丢失会造成空间信息的丢失。 问题2：CNN没有考虑图像的每一部分之间的空间关系。...这对于理解胶囊之间的动态路径选择很重要。 现在我们知道了神经网络的基础以及空间识别的问题，我们可以继续了解最近发展出的解决方式：胶囊神经网络。这将是我们下一篇的主题。请继续收看！
论文地址：https://arxiv.org/pdf/1804.03235.pdf 在提出备受瞩目的“胶囊网络”（Capsule networks）之后，深度学习领域的大牛、多伦多大学计算机科学教授Geoffrey...在不相交的数据子集上训练的两个神经网络可以通过鼓励每个模型同意另一个模型的预测来共享知识。这些预测可能来自另一个模型的旧版本，因此可以使用很少被传输的权重来安全地计算它们。...没有任何训练神经网络的算法可以无限扩展，但即使扩展得比分布式SGD的限制多一点，也是非常有价值的。...codistillation算法 实验与结果 为了研究分布式训练的可扩展性，我们需要一个代表重要的大规模神经网络训练问题的任务。...另一个重要的比较是两个神经网络的集成，每个神经网络都有128GPU和同步SGD。
四元数神经网络是流形网络和胶囊网络之外又一种非同构表征架构，也可以看成是实值、复值 RNN 的扩展。实验表明，该网络相比传统的实值 RNN 可以显著减少参数数量，适用于低资源应用。...这也是胶囊网络背后的思想：让每个「单元」输出一个参数向量而不是一个数字。在这里，作者表明，通过将四元数结合到 RNN 或 LSTM 使用的表征中，可以使用更少的参数在语音识别任务中实现更好的性能。...最近的流形网络和胶囊网络也探索了将成组数字创建为独立实体的想法（Chakraborty et al., 2018; Sabour et al., 2017）。...与传统的同构表征相反，胶囊网络和四元网络将特征集捆绑在一起。...与胶囊网络类似，四元数允许 QRNN 通过将多维特征整合和处理为单个实体来编码内部依赖性，而循环操作建模了组成序列的元素之间的相关性。
编译 | AI科技大本营 参与 | 孙士洁 编辑 | 明 明 【AI科技大本营按】胶囊网络是什么？胶囊网络怎么能克服卷积神经网络的缺点和不足？...胶囊网络（Capsule networks, CapsNets）是一种热门的新型神经网络架构，它可能会对深度学习特别是计算机视觉领域产生深远的影响。等一下，难道计算机视觉问题还没有被很好地解决吗？...现今，这些计算机视觉任务都需要不同的卷积神经网络架构，如用于分类的ResNet架构，用于目标检测的YOLO架构，用于语义分析的掩模R-CNN架构，等等。图像由AurélienGéron提供。...是的，我们已经看到了令人难以置信的CNNs，但是： 这些CNNs都接受了数量巨大图像的训练（或重复使用了部分已训练过的神经网络）。CapsNets能通过少得多的训练数据就可很好地完成网络训练。...如果被检测对象发生稍微改变（如移动、旋转、调整大小等），则胶囊将输出相同长度的矢量，但方向稍有不同。这样，胶囊是等变的。 就像常规的神经网络一样，一个CapsNet也是按多个层组织的（见图4）。
<!doctype html> <html> <head> <meta charset="utf-8"> <title>联想控股</title> <m...
随后，利用设计的序列胶囊网络，将序列模式注入多兴趣提取过程，从而以多粒度方式实现更精确的兴趣学习。 2. 方法 如图所示，MGNM 由两部分组成：用户感知图卷积和序列胶囊网络。...每个胶囊的输出相当于特定的用户兴趣，但是以往的工作缺乏的时间序列信息的考虑。 作者为CapsNet引入序列编码层来修复这个缺陷。...给定 l 级的商品表征，第i个胶囊首先在 H^{(l)} 上执行线性投影，如下所示, Z_i=H^{(l)}W_i 然后，通过截断的正态分布初始化 g=[g_1,......,g_m] ，其中 g_i 是表示商品xi与胶囊相关性的一致性分数。...然后通过softmax函数导出相应动态路由机制的耦合系数 c \in R^d ，公式如下， c=softmax(g) 通过胶囊网络的非线性激活函数得到输出，公式如下，其中 c_j 是上面求得的c中的第
一、问题的提出 时间胶囊最初由May[1]提出，在上文《给未来写信——时间胶囊技术（一）》中，我们介绍了基于hash迭代的时间胶囊。...然而，基于hash迭代的时间胶囊，如果发送方希望接收方花多长时间解密，则自己也必须花多长时间来加密，这在实际应用中显然不合适。...二、基于时间锁谜题的时间胶囊 Rivest等人[2]提出了使用“时间锁谜题”来实现时间胶囊的方法。...其较好的满足了时间胶囊的基本要求。 三、时间胶囊应用 3.1遗嘱 例如，某人可能会提前立下遗嘱，而不愿意过早地暴露其遗嘱内容，担心会引起纠纷。...因此，时间胶囊与存在性证明相结合是必然的。区块链天生就是个良好的无中心/无需可信第三方的存证平台，结合区块链的时间胶囊必定更具应用潜力，学界也提出了一些算法，例如[10-13]，建议进一步阅读。
一、物理世界的时间胶囊 物理世界的时间胶囊，是指把物品封存在一个较小的空间（即称为“胶囊”），设定好未来开启的时间，只有到了预定的时间才能开启。...一些设定时间比较长久的时间胶囊大多埋在地下或建筑物地基中。这里，我们介绍两个著名的时间胶囊。...乔布斯时间胶囊已按预定时间于埋藏30年后的2013年挖掘。 二、数字时间胶囊 前面介绍的都是物理世界的时间胶囊。物理世界的时间胶囊靠物理的约束来“保证”打开时间。胶囊中，也可以放置信函、书籍等内容。...如何在数字世界实现时间胶囊，即给未来写信呢？物理的时间胶囊，在打开之前，我们是看不到里面的情况的。数字世界的时间胶囊也应该实现“打开”之前看不到其中的信息！...三、基于hash迭代的时间胶囊 本章讨论可具体实现的时间胶囊算法。
// 获取状态栏高度 var statuBar = uni.getSystemInfoSync().statusBarHeight; // 获取胶囊数据 var custom = wx.getMenuButtonBoundingClientRect...() // 获取胶囊的宽高 customWidth = custom.width customHeight = custom.height // 获取胶囊的上下左右坐标 customTop = custom.top...customBottom = cutsom.bottom customLeft = custom.left customRight = custom.right // 获取导航栏（标题栏高度）高度 = 胶囊高度
背景 传统的卷积神经网络因为全连接层会丢失位置空间信息，而池化层又会损失掉一部分信息，所以Hinton提出了胶囊网络，这里我介绍的这篇是以向量为输入输出，后面Hinton还写了一篇文章《matrix capsules...胶囊网络介绍 胶囊网络不再以卷积神经网络中特征图的形式，而是以向量作为输入和输出，向量的长度表示某种目标特征，方向代表目标的存在。整个模型分为encoder和decoder部分。...，每个数字胶囊的激活向量模长说明每个类的实例是否存在，并且用来计算分类损失，上一层的胶囊层和DigitCaps层可以认为是全连接。...整个模型中的特色就在于胶囊网络那一块，在胶囊网络部分需要迭代多次，整个过程可以看作是仿射变换、标量加权求和、非线性激活函数的过程，对于来自浅层的胶囊的输入张量u，主要的过程如下图所示： ? ?...后面Hinton针对mnist数据集，做了重叠的实验，发现胶囊网络对重叠拥挤的场景有较好的识别和解释，同时胶囊网络需要的数据量少，相对于传统卷积神经网络胶囊网络在较少的数据量上也可以实现非常高的正确率，
，它提出了理论上能更好地替代卷积神经网络的方案，是当前计算机视觉领域的最新技术。...首先来看一下传统神经网络的神经元。在物质世界中，这是一组细胞，以信号作为输入，并发出一些信号作为输出，只要它足够兴奋。虽然这是一个简单直白的解释，但这最终是对“神经网络”机器学习概念的充分体现。...所有类型的神经元都取自从这个基本概念，包括递归神经网络和卷积神经网络。 胶囊的概念：像基本的神经元一样，它们也代表了一个认知思想的符号数字化。...而这就是这些胶囊网络运行方式的本质。 我们如何路由这些较低级别的胶囊，把它们送到正确的、更高级别胶囊中呢？...Hinton认为，要想让神经网络能够自己变得智能，必须进行“无监督学习”，“我认为这意味着需要放弃反向传播。” ▌卷积神经网络 ---- ---- 不可否认，CNNs是当前计算机视觉中最先进的技术。
本文将详细介绍胶囊网络的基础概念，从其背后的动机、核心构建块到数学原理等方面进行深入探讨。我们也会与卷积神经网络进行比较，以便更清晰地展示胶囊网络的优势。...解决方案：胶囊与动态路由 胶囊网络引入了“胶囊”（capsule）的概念。每个胶囊都是一个小型的神经网络，它能够识别特定类型的视觉模式，并且对其存在的概率和姿态参数进行编码。...与传统神经网络中的神经元相比，胶囊具有更高维度的输出和更复杂的内部结构，这使得胶囊能够对输入数据进行更为精细和丰富的描述。...4.2 路由算法 动态路由算法是胶囊网络中至关重要的一部分，其工作方式与传统的神经网络中的前向传播算法有显著不同。...定义胶囊层 首先，我们需要定义一个胶囊层，这通常由多个单独的胶囊组成。每个胶囊都是一个小型神经网络，可以通过标准的全连接层或卷积层来实现。
神经网络的构成、训练和算法 5. 深度学习的兴起：从NN到DNN 6. 异军突起的激活函数：ReLU 7. CNN，RNN，LSTM都是什么？ 8....2017年底，Geoffrey Hinton等人又发表了一篇名为《Dynamic Routing between Capsules》的论文，其中介绍了胶囊架构。这是一种新的深度神经网络模型。...一个胶囊网络是由胶囊而不是由神经元构成。 胶囊网络的作用 那么为什么需要CapsNet，CapsNet对现有模型有哪些改进呢？...网络的第一层仍然是一个卷基层，第二层为主胶囊层，在主胶囊层中我们仍然使用了CNN中滑动窗口的概念。第三层为数字胶囊层，他的输出为1610的向量，其中每一个 161的向量对应着一个类的可能性。...胶囊网络中的胶囊单元给了我们构建深度神经网络时一个新的选型，通过动态路由机制网络也较好的解决了复杂网络难以训练的问题。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
