AI 科技评论按：胶囊网络是一种热门的计算机网络模型，倍受人工智能领域相关研究人员的关注。而 transformer 是谷歌在 2017 年的一篇著名论文「Attention Is All You Need」（https://arxiv.org/abs/1706.03762）中提出的一种网络结构，这种网络结构是基于注意力机制的，主要关注 NLP 领域的机器翻译问题。
【导读】10月26日，深度学习元老Geoffrey Hinton和他的团队NIPS2017 Capsule论文《Dynamic Routing Between Capsules》在arxiv上发表，介
AI 科技评论按：眼见“深度学习教父”Geoffrey Hinton在许多场合谈到过自己正在攻关的“Capsule”之后，现在我们终于等到了这篇论文，得以具体感受Capsule的特性。AI 科技评论把
在使用卷积神经网络（CNNs）解决计算机视觉任务的时候，视角的改变（角度、位置、剪应力等等）很大程度上会造成网络表现的剧烈波动，从而限制了模型的泛化能力。有鉴于此，一般 CNN 网络都会有海量参数，辅以大规模数据和超强算力来勉强应对。
我们都知道深度卷积神经网络是依靠大量的数据和具有大量特征映射的层来完成学习和更新的，这个过程并不是非常高效，对于大型数据集来说，这意味着有大量冗余的特征检测器。
深度学习之父 Hinton 和 Sabour 从神经科学受到启发，认为大脑被组织成了叫做胶囊的模块。这些模块擅长处理视觉任务中物体的姿态（位置、大小、方向）、形变、速度、反射率、色调、纹理等特征。
作者 | Dyson 编辑 | 贾伟 ICLR 2020会议将于 4 月 26 日在非洲埃塞俄比亚（亚斯亚贝巴）举行。本届会议共有 2594篇投稿，其中 687篇论文被接收（48篇oral论文，107
“Dynamic Routing Between Capsules”是由Hinton等联合发表在NIPS会议上。提出了一个新的神经网络---胶囊网络与囊间的动态路由算法。
深度学习在最近几年取得了显著的进展，特别是在计算机视觉、自然语言处理和其他人工智能应用领域。尽管如此，当前的深度学习模型，尤其是卷积神经网络（CNNs）还存在一些局限性。例如，它们往往对输入的微小变化高度敏感，而且对于学习复杂的空间层次结构效率不高。正是为了解决这些问题，胶囊网络（Capsule Networks，CapsNets）应运而生。
传统的卷积神经网络因为全连接层会丢失位置空间信息，而池化层又会损失掉一部分信息，所以Hinton提出了胶囊网络，这里我介绍的这篇是以向量为输入输出，后面Hinton还写了一篇文章《matrix capsules with em routing》是以矩阵作为胶囊网络的输入。
Geoffrey Hinton是深度学习的开创者之一，反向传播等神经网络经典算法发明人，他和他的团队提出了一种全新的神经网络，这种网络基于一种称为胶囊（capsule)的结构，并且还发表了用来训练胶囊网络的囊间动态路由算法。
胶囊是一组神经元，它会学习检测给定区域图像的特定目标,它输出一个向量，向量的长度代表目标存在的概率估计，用向量的方向表示实体的属性。如果对象有轻微的变化(例如移位、旋转、改变大小等)，那么胶囊将输出相同长度但方向略有不同的向量，因此，胶囊是等变化的(Equivariance)。 CNN:
编译 | AI科技大本营 参与 | 孙士洁 编辑 | 明 明 【AI科技大本营按】胶囊网络是什么？胶囊网络怎么能克服卷积神经网络的缺点和不足？机器学习顾问AurélienGéron发表了自己的看法。营长将文章内容翻译如下。 胶囊网络（Capsule networks, CapsNets）是一种热门的新型神经网络架构，它可能会对深度学习特别是计算机视觉领域产生深远的影响。等一下，难道计算机视觉问题还没有被很好地解决吗？卷积神经网络（Convolutional neural networks,
胶囊网络（CapsNet）于2011年在Geoffrey Hinton的一篇名为《Transforming Autoencoders》的论文中首次出现。
对抗攻击（Adversarial Attack，指的是通过恶意输入欺骗模型的技术）正越来越多地被有"防御意识"的新攻击打破。实际上，大多数声称检测对抗性攻击的方法在发布后不久就被证伪了。
图灵奖得主Geoffrey Hinton在2017年提出了这种全新的深度学习方法，以期挑战CNN“天命之子”的地位。
AI 科技评论按：12 月上旬，NeurIPS 2018 在加拿大蒙特利尔会展中心（Palais des Congrès de Montréal）成功举办，AI 科技评论对此进行了报道。今年的会议在主题活动、投稿论文数量和参会人数上，相比往年都上了一个新台阶。NeurIPS 2018 吸引了近九千人参加，最终 1010 篇论文被接收，其中，有四篇论文被评为最佳论文，接收的覆盖了十大研究领域。
江山代有才人出，各领风骚数百年。但在计算机科学领域，风骚数十年都非常难。卷积神经网络在短短三十多年里，几起几落。别看它现在依然如日冲天，要知道，浪潮之巅的下一步，就是衰落。而加快推动这一趋势的，正是卷积神经网络得以雄起的大功臣——Geoffrey Hinton。他提出了全新的“神经胶囊”理论，这“胶囊”里到底装的是什么“药”呢？
在讲胶囊网络之前，首先我们回顾一下我们熟悉的CNN。 CNN做了什么事情呢? 假设这里有一个卷积核（左图），除了曲线轨迹上的值很大，其他的值都是零，所以这个卷积核对旁边这种曲线（右图）就有很高的输出，
【飞桨开发者说】王成，深度学习爱好者，淮阴师范学院，研究方向为计算机视觉图像与视频处理。
本文作者 张玉宏 2012年于电子科技大学获计算机专业博士学位，2009~2011年美国西北大学联合培养博士，现执教于河南工业大学，电子科技大学博士后。中国计算机协会（CCF）会员，YOCSEF郑州2018~2019年度副主席，ACM/IEEE会员。《品味大数据》一书作者。 江山代有才人出，各领风骚数百年。但在计算机科学领域，风骚数十年都非常难。卷积神经网络在短短三十多年里，几起几落。别看它现在依然如日冲天，要知道，浪潮之巅的下一步，就是衰落。而加快推动这一趋势的，正是卷积神经网络得以雄起的大功臣——Ge
胶囊网络（Capsule Networks）图领奖得主Geoffrey Hinton在17年提出的一种新型神经网络结构，可以克服卷积神经网络存在的一些问题。CVPR2019包含了半天的面向计算机视觉的胶囊网络教程，本文介绍其中一篇综述。
导读 本文介绍了 360 信息流推荐场景下，利用 Mind 对用户行为进行多兴趣抽取及召回的相关工作。
选自freecodecamp 作者：Nick Bourdakos 机器之心编译 参与：Pedro、思源 CapsNet 将神经元的标量输出转换为向量输出提高了表征能力，我们不仅能用它表示图像是否有某个特征，同时还能表示这个特征的旋转和位置等物理特征。本文从可视化的角度出发详解释了 CapsNet 的原理的计算过程，非常有利于直观理解它的结构。 尽管卷积神经网络已经做出了令人惊艳的成绩，但还是存在着一些根本性问题。是时候开始思考新的解决方案和改进了。现在就让我们一起来了解一下胶囊网络（capsules net
【导读】前几天，Hinton团队的胶囊网络论文第一作者Sara Sabour将其源码在GitHub上开源，其实，该论文“Dynamic Routing Between Capsules”早在去年10月份就已经发表，直到今日，其官方实现终于开源。此前，Hinton一再强调，当前的反向传播和CNN网络存在很大的局限性，表明AI的下一代研究方向是“无监督学习”。因此，CapsNet应运而生，虽然传统神经网络很大程度上是在Hinton的理论基础上创建的，但Hinton却丝毫没有手下留情，声称要把反向传播等深度学习方
作者：Adam R. Kosiorek、Sara Sabour、Yee Whye Teh、Geoffrey E. Hinton
AI 科技评论按：CapsNet 作者 Sara Sabour 联合 Geoffrey Hinton 及牛津大学研究者在最新的论文《Stacked Capsule Autoencoders》中提出胶囊网络的改进版本，该胶囊网络可以无监督地学习图像中的特征，并取得了最先进的结果。
CapsNet基本结构 参考CapsNet的论文，提出的基本结构如下所示： capsnet_mnist.jpg 可以看出，CapsNet的基本结构如下所示： 普通卷积层Conv1：基本的卷积层，感受野
今天给大家介绍由中国科学院大学Lifei Wang等人在《nature machine intelligence》上发表了一篇名为“An interpretable deep-learning architecture of capsule networks for identifying cell-type gene expression programs from single-cell RNA sequencing data”的文章。文中提出了一个使用胶囊网络（称为scCapsNet）的可解释的深度学习体系结构。胶囊结构（代表一组特定对象属性的神经元向量）捕捉层次关系。通过利用竞争性单细胞类型识别，scCapsNet模型能够进行特征选择以识别编码不同亚细胞类型的基因组。将RNA表达特征有效地整合到scCapsNet的参数矩阵中，实现了亚细胞类型识别。
胶囊网络是 Geoffrey Hinton 提出的一种新型神经网络结构，为了解决卷积神经网络（ConvNets）的一些缺点，提出了胶囊网络。
【新智元导读】Hinton要打造下一代CNN的Capsule细节终于通过一篇论文发布。本文带来详细介绍。此前，Hinton曾讨论了用“capsule”作为下一代CNN的理由。他解释了“标准”的卷积神经网络有什么问题？结构的层次太少，只有神经元、神经网络层、整个神经网络。所以，我们需要把每一层的神经元组合起来，形成一个组，并装到“舱”（capsule）中去，这样一来就能完成大量的内部计算，最终输出一个经过压缩的结果。“舱”（capsule）的灵感来自大脑皮层中的微柱体（mini-column）。Hinton要
在本文中，我们提出了一种基于胶囊层（Capsule layer，Sabour et al., 2017; Qin et al., 2020）的网络和检测机制，它可以精确地检测到攻击，对于未检测到的攻击，它通常也可以迫使攻击者生成类似于目标类的图像（从而使它们被偏转）。我们的网络结构由两部分组成：对输入进行分类的胶囊分类网络，以及根据预测的胶囊（predicted capsule）的姿态参数（pose parameters）重建输入图像的重建网络。
熟悉双塔的人都知道，在用户侧，模型最后往往都生成一个向量去检索，这个向量不足以表达用户的多兴趣，《Multi-Interest Network with Dynamic Routing for Recommendation at Tmall》这篇就提出了一个label-aware attention把用户表达为多个兴趣。
大数据文摘字幕组作品 今年11月7日，Geoffrey Hinton老爷子发表了“Dynamic Routing Between Capsules”的论文，提出了“胶囊网络”，胶囊网络在MNIST手写数字识别上的表现超过了CNN，一时引发了热议。 毕竟，如果Hinton说这玩意儿好用，那它很有可能真的好用！ Hinton现任加拿大多伦多大学教授，同时是谷歌大脑在加拿大的负责人。听起来好像没啥特别的 (⊙ˍ⊙) 不过随便一搜，1947年出生的他有各种头衔加持：”深度学习之父“、”开山鼻祖“……对，他就是在8
2017年，AI领域最重要的理论家、图灵奖最新获得者杰弗里·辛顿（geoffrey hinton）与学生萨拉·萨布尔（sara sabour）和尼古拉斯·弗罗斯特（Nicholas frost）一起提出了一种称为capsnet的机器学习架构，这是一种经过培训的多层方法，在目前流行的基准上实现了最先进的图像分类性能。在他们工作的后续行动中，辛顿、萨博和牛津机器人研究所的研究人员详细介绍了胶囊网络的一个版本，该版本在无人监督的分类任务中优于当前领先的算法。
AI 科技评论按：2020 年 2 月 9 日，AAAI 2020 的主会议厅讲台上迎来了三位重量级嘉宾，这三位也是我们熟悉、拥戴的深度学习时代的开拓者：Geoffrey Hinton，Yann LeCun，Yoshua Bengio。
机器之心报道 机器之心编辑部 在一篇 CVPR 2021 Oral 论文中，来自慕尼黑大学、微软亚研的研究者对胶囊网络和卷积网络进行了全面的对比。一系列实验表明，一些被认为对胶囊网络（CapsNet）至关重要的设计组件实际上会损害它的鲁棒性，而另一些设计则有利于 CapsNet 的鲁棒性。 卷积神经网络取得了很大的成功，也很受欢迎。但是它也并不适合所有的任务。架构上的一些缺陷导致它并不能很好地完成一些任务。 因此，Hinton 和他的同事们提出了胶囊网络 (CapsNet) 作为 CNN 模型的替代。胶囊
Controllable Multi-Interest Framework for Recommendation
在工业界，一个完整的推荐系统中通常包括两个阶段，分别为召回阶段和排序阶段。在召回阶段，根据用户的兴趣从海量的商品中去检索出用户（User）可能感兴趣的候选商品（ Item），满足推荐相关性和多样性需求。在排序阶段，根据不同的目标，如CTR，CVR，时长等对候选出的商品进行打分。目前，对于用户兴趣的建模，通常是从用户的历史行为中挖掘出用户兴趣，以当前的深度学习模型为例，通常是将User的历史行为数据embedding到一个固定长度的向量中，以此表示该用户的兴趣。然而在实际环境中，一个用户的兴趣通常是多样的，使用单一固定长度的embedding向量难以刻画用户兴趣的多样性。Multi-Interest Network with Dynamic routing[1]（MIND）用户多兴趣建模网络取代了原先的单一固定长度embedding向量，取而代之的是用户的多兴趣向量。在MIND中，主要的创新点在于：
“普通的”卷积神经网络是当前机器学习领域最热的一个概念， 但是它也有一些问题，例如不能识别空间关系，比如说图片或其他数据里不同部分之间的相对位置关系。Hinton最近提出的胶囊神经网络也许能帮助我们解决包括这一问题和其他问题。
最近，Hinton老师等提出了胶囊网络, 用神经元向量代替传统神经网络的单个神经元节点，以dynamic routing的方式去训练这种全新的神经网络。
实验：讲 c i c_i ci通过BP训练和动态路由训练作对比，证明其有效性。
理解对象是计算机视觉的核心问题之一。传统方法而言，理解对象任务可以依赖于大型带注释的数据集，而无监督方法已经消除了对标签的需求。近来，研究人员试图将这些方法扩展到 3D 点云问题上，但无监督 3D 学习领域却进展寥寥。
2017年，深度学习三巨头之一的Geoffrey Hinton，发表了两篇论文解释「胶囊网络（Capsule Networks）」。
10月26日，深度学习元老Hinton的NIPS2017 Capsule论文《Dynamic Routing Between Capsules》终于在arxiv上发表。Hinton 之前就一直介绍Ca
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
