江山代有才人出，各领风骚数百年。但在计算机科学领域，风骚数十年都非常难。卷积神经网络在短短三十多年里，几起几落。别看它现在依然如日冲天，要知道，浪潮之巅的下一步，就是衰落。而加快推动这一趋势的，正是卷积神经网络得以雄起的大功臣——Geoffrey Hinton。他提出了全新的“神经胶囊”理论，这“胶囊”里到底装的是什么“药”呢？
【新智元导读】Hinton要打造下一代CNN的Capsule细节终于通过一篇论文发布。本文带来详细介绍。此前，Hinton曾讨论了用“capsule”作为下一代CNN的理由。他解释了“标准”的卷积神经网络有什么问题？结构的层次太少，只有神经元、神经网络层、整个神经网络。所以，我们需要把每一层的神经元组合起来，形成一个组，并装到“舱”（capsule）中去，这样一来就能完成大量的内部计算，最终输出一个经过压缩的结果。“舱”（capsule）的灵感来自大脑皮层中的微柱体（mini-column）。Hinton要
“普通的”卷积神经网络是当前机器学习领域最热的一个概念， 但是它也有一些问题，例如不能识别空间关系，比如说图片或其他数据里不同部分之间的相对位置关系。Hinton最近提出的胶囊神经网络也许能帮助我们解决包括这一问题和其他问题。
本文作者 张玉宏 2012年于电子科技大学获计算机专业博士学位，2009~2011年美国西北大学联合培养博士，现执教于河南工业大学，电子科技大学博士后。中国计算机协会（CCF）会员，YOCSEF郑州2018~2019年度副主席，ACM/IEEE会员。《品味大数据》一书作者。 江山代有才人出，各领风骚数百年。但在计算机科学领域，风骚数十年都非常难。卷积神经网络在短短三十多年里，几起几落。别看它现在依然如日冲天，要知道，浪潮之巅的下一步，就是衰落。而加快推动这一趋势的，正是卷积神经网络得以雄起的大功臣——Ge
【导读】前几天，Hinton团队的胶囊网络论文第一作者Sara Sabour将其源码在GitHub上开源，其实，该论文“Dynamic Routing Between Capsules”早在去年10月份就已经发表，直到今日，其官方实现终于开源。此前，Hinton一再强调，当前的反向传播和CNN网络存在很大的局限性，表明AI的下一代研究方向是“无监督学习”。因此，CapsNet应运而生，虽然传统神经网络很大程度上是在Hinton的理论基础上创建的，但Hinton却丝毫没有手下留情，声称要把反向传播等深度学习方
“Dynamic Routing Between Capsules”是由Hinton等联合发表在NIPS会议上。提出了一个新的神经网络---胶囊网络与囊间的动态路由算法。
2017年，深度学习三巨头之一的Geoffrey Hinton，发表了两篇论文解释「胶囊网络（Capsule Networks）」。
Hinton刚刚在Twitter上开了一个小讨论: 人们反对在设计神经网络时从大脑获取灵感，就像在设计飞行器时从羽毛中获取灵感一样。
在讲胶囊网络之前，首先我们回顾一下我们熟悉的CNN。 CNN做了什么事情呢? 假设这里有一个卷积核（左图），除了曲线轨迹上的值很大，其他的值都是零，所以这个卷积核对旁边这种曲线（右图）就有很高的输出，
胶囊网络（CapsNet）于2011年在Geoffrey Hinton的一篇名为《Transforming Autoencoders》的论文中首次出现。
编译 | AI科技大本营 参与 | 孙士洁 编辑 | 明 明 【AI科技大本营按】胶囊网络是什么？胶囊网络怎么能克服卷积神经网络的缺点和不足？机器学习顾问AurélienGéron发表了自己的看法。营长将文章内容翻译如下。 胶囊网络（Capsule networks, CapsNets）是一种热门的新型神经网络架构，它可能会对深度学习特别是计算机视觉领域产生深远的影响。等一下，难道计算机视觉问题还没有被很好地解决吗？卷积神经网络（Convolutional neural networks,
深度学习推动了 AI 领域成为目前最热门的学科，但引领这一风潮的先驱者，如 Geoffrey Hinton，正期待对神经网络进行大刀阔斧的修改，让 AI 能力实现新的真正突破。
胶囊网络是 Geoffrey Hinton 提出的一种新型神经网络结构，为了解决卷积神经网络（ConvNets）的一些缺点，提出了胶囊网络。
「如果我们想让神经网络像人类一样理解图像，我们需要找出神经网络是如何表示部分 - 整体层次结构的。」谷歌副总裁、工程研究专家、Vector Institute 首席科学顾问、多伦多大学 Emeritus 荣誉教授 Geoffrey Hinton。
“人工智能”一词最初是在1956 年Dartmouth学会上提出的。人工智能（Artificial Intelligence），英文缩写为AI，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
深度学习在最近几年取得了显著的进展，特别是在计算机视觉、自然语言处理和其他人工智能应用领域。尽管如此，当前的深度学习模型，尤其是卷积神经网络（CNNs）还存在一些局限性。例如，它们往往对输入的微小变化高度敏感，而且对于学习复杂的空间层次结构效率不高。正是为了解决这些问题，胶囊网络（Capsule Networks，CapsNets）应运而生。
AI 科技评论按：眼见“深度学习教父”Geoffrey Hinton在许多场合谈到过自己正在攻关的“Capsule”之后，现在我们终于等到了这篇论文，得以具体感受Capsule的特性。AI 科技评论把
对抗攻击（Adversarial Attack，指的是通过恶意输入欺骗模型的技术）正越来越多地被有"防御意识"的新攻击打破。实际上，大多数声称检测对抗性攻击的方法在发布后不久就被证伪了。
传统的卷积神经网络因为全连接层会丢失位置空间信息，而池化层又会损失掉一部分信息，所以Hinton提出了胶囊网络，这里我介绍的这篇是以向量为输入输出，后面Hinton还写了一篇文章《matrix capsules with em routing》是以矩阵作为胶囊网络的输入。
Geoffrey Hinton是深度学习的开创者之一，反向传播等神经网络经典算法发明人，他和他的团队提出了一种全新的神经网络，这种网络基于一种称为胶囊（capsule)的结构，并且还发表了用来训练胶囊网络的囊间动态路由算法。
胶囊网络（Capsule Networks）图领奖得主Geoffrey Hinton在17年提出的一种新型神经网络结构，可以克服卷积神经网络存在的一些问题。CVPR2019包含了半天的面向计算机视觉的胶囊网络教程，本文介绍其中一篇综述。
大数据文摘作品 编译：余志文、Ether、钱天培 “卷积神经网络（CNN）的时代已经过去了！”——Geoffrey Hinton 酝酿许久，深度学习之父Geoffrey Hinton终于在上月发表了备受瞩目的Capsule Networks(CapsNet)。 Hinton本次挟CapsNet而来，大有要用它取代CNN的气势。那么，CapsNet相比CNN到底有哪些优势？它又是否能为AI界带来革命性转折呢？今天，文摘菌就来为大家科普一下这一深度学习的新里程碑。 首先，这位被誉为深度学习之父Geoffrey
神经网络的基本思想是模拟计算机“大脑”中的多个相互关联的细胞，这样它就可以从环境中学习、识别不同的模式，并做出与人类相似的决定。
【飞桨开发者说】王成，深度学习爱好者，淮阴师范学院，研究方向为计算机视觉图像与视频处理。
实验：讲 c i c_i ci通过BP训练和动态路由训练作对比，证明其有效性。
我们都知道深度卷积神经网络是依靠大量的数据和具有大量特征映射的层来完成学习和更新的，这个过程并不是非常高效，对于大型数据集来说，这意味着有大量冗余的特征检测器。
深度学习之父 Hinton 和 Sabour 从神经科学受到启发，认为大脑被组织成了叫做胶囊的模块。这些模块擅长处理视觉任务中物体的姿态（位置、大小、方向）、形变、速度、反射率、色调、纹理等特征。
2017年，AI领域最重要的理论家、图灵奖最新获得者杰弗里·辛顿（geoffrey hinton）与学生萨拉·萨布尔（sara sabour）和尼古拉斯·弗罗斯特（Nicholas frost）一起提出了一种称为capsnet的机器学习架构，这是一种经过培训的多层方法，在目前流行的基准上实现了最先进的图像分类性能。在他们工作的后续行动中，辛顿、萨博和牛津机器人研究所的研究人员详细介绍了胶囊网络的一个版本，该版本在无人监督的分类任务中优于当前领先的算法。
图灵奖得主Geoffrey Hinton在2017年提出了这种全新的深度学习方法，以期挑战CNN“天命之子”的地位。
10月26日，深度学习元老Hinton的NIPS2017 Capsule论文《Dynamic Routing Between Capsules》终于在arxiv上发表。Hinton 之前就一直介绍Ca
【导读】10月26日，深度学习元老Geoffrey Hinton和他的团队NIPS2017 Capsule论文《Dynamic Routing Between Capsules》在arxiv上发表，介
最近，Hinton老师等提出了胶囊网络, 用神经元向量代替传统神经网络的单个神经元节点，以dynamic routing的方式去训练这种全新的神经网络。
今天给大家介绍由中国科学院大学Lifei Wang等人在《nature machine intelligence》上发表了一篇名为“An interpretable deep-learning architecture of capsule networks for identifying cell-type gene expression programs from single-cell RNA sequencing data”的文章。文中提出了一个使用胶囊网络（称为scCapsNet）的可解释的深度学习体系结构。胶囊结构（代表一组特定对象属性的神经元向量）捕捉层次关系。通过利用竞争性单细胞类型识别，scCapsNet模型能够进行特征选择以识别编码不同亚细胞类型的基因组。将RNA表达特征有效地整合到scCapsNet的参数矩阵中，实现了亚细胞类型识别。
自从1892年首次出现在一本德国杂志上之后，这张图就一直持续引发争议。有些人只能看到一只兔子，有些人只能看到一只鸭子，有些人两个都能看出来。
2018年9月，中国信息通信研究院和中国人工智能产业发展联盟联合发布了《人工智能发展白皮书技术架构篇（ 2018 年）》，从产业发展的角度，选择以深度学习算法驱动的人工智能技术为主线，分析作为人工智能发展“三驾马车”的算法、算力和数据的技术现状、问题以及趋势，并对智能语音、语义理解、计算机视觉等基础应用技术进行分析，并提出了目前存在的问题和技术的发展趋势。
大数据文摘字幕组作品 今年11月7日，Geoffrey Hinton老爷子发表了“Dynamic Routing Between Capsules”的论文，提出了“胶囊网络”，胶囊网络在MNIST手写数字识别上的表现超过了CNN，一时引发了热议。 毕竟，如果Hinton说这玩意儿好用，那它很有可能真的好用！ Hinton现任加拿大多伦多大学教授，同时是谷歌大脑在加拿大的负责人。听起来好像没啥特别的 (⊙ˍ⊙) 不过随便一搜，1947年出生的他有各种头衔加持：”深度学习之父“、”开山鼻祖“……对，他就是在8
在工业界，一个完整的推荐系统中通常包括两个阶段，分别为召回阶段和排序阶段。在召回阶段，根据用户的兴趣从海量的商品中去检索出用户（User）可能感兴趣的候选商品（ Item），满足推荐相关性和多样性需求。在排序阶段，根据不同的目标，如CTR，CVR，时长等对候选出的商品进行打分。目前，对于用户兴趣的建模，通常是从用户的历史行为中挖掘出用户兴趣，以当前的深度学习模型为例，通常是将User的历史行为数据embedding到一个固定长度的向量中，以此表示该用户的兴趣。然而在实际环境中，一个用户的兴趣通常是多样的，使用单一固定长度的embedding向量难以刻画用户兴趣的多样性。Multi-Interest Network with Dynamic routing[1]（MIND）用户多兴趣建模网络取代了原先的单一固定长度embedding向量，取而代之的是用户的多兴趣向量。在MIND中，主要的创新点在于：
---- 新智元报道 来源：专知 【新智元导读】近年来，随着人工智能与大数据技术的发展，深度神经网络在语音识别、自然语言处理、图像理解、视频分析等应用领域取得了突破性进展。深度神经网络的模型层数多、参数量大且计算复杂，对硬件的计算能力、内存带宽及数据存储等有较高的要求。 FPGA 作为一种可编程逻辑器件，具有可编程、高性能、低能耗、高稳定、 可并行和安全性的特点。其与深度神经网络的结合成为推动人工智能产业应用的研究热点。 本文首先简述了人工神经网络坎坷的七十年发展历程与目前主流的深度神经网络模型，
在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。
由于具备学习高度复杂的输入到输出映射的能力，在过去的几年里，深度神经网络（DNN）在多个领域取得了广泛的成功。在各种基于 DNN 的模型中，循环神经网络（RNN）非常适合处理序列数据，它在每个时间步上创建一个向量，用来编码输入向量之间的隐藏关系。深度 RNN 近来被用来获取语音单元序列（Ravanelli et al., 2018a）或文本词序列（Conneau et al., 2018）的隐藏表征，在许多语音识别任务中取得了当前最佳性能（Graves et al., 2013a;b; Amodei et al., 2016; Povey et al., 2016; Chiu et al., 2018）。然而，最近的许多基于多维输入特征的任务（如图像的像素、声学特征或 3D 模型的方向）需要同时表征不同实体之间的外部依赖关系和组成每个实体的特征之间的内部关系。而且，基于 RNN 的算法通常需要大量参数才能表征隐藏空间中的序列数据。
【磐创AI导读】：本文主介绍多项世界机器人大会认定的潜力AI最新技术top10，值得一读。想要了解更多AI咨询、学习更多的机器学习知识，欢迎大家点击上方蓝字关注我们的公众号：磐创AI。
这篇文章有4篇论文速递信息，涉及胶囊网络、迁移学习、优化CNN和手指检测等方向（含一篇NIPS 2017、一篇ICMR 2018和一篇 VCIP 2017）。
神经网络于上世纪50年代提出，直到最近十年里才得以发展迅速，正改变着我们世界的方方面面。从图像分类到自然语言处理，研究人员正在对不同领域建立深层神经网络模型并取得相关的突破性成果。但是随着深度学习的进一步发展，又面临着新的瓶颈——只对成熟网络模型进行加深加宽操作。直到最近，Hinton老爷子提出了新的概念——胶囊网络（Capsule Networks），它提高了传统方法的有效性和可理解性。
机器之心专栏 本专栏由机器之心SOTA！模型资源站出品，每周日于机器之心公众号持续更新。 本专栏将逐一盘点自然语言处理、计算机视觉等领域下的常见任务，并对在这些任务上取得过 SOTA 的经典模型逐一详解。前往 SOTA！模型资源站（sota.jiqizhixin.com）即可获取本文中包含的模型实现代码、预训练模型及 API 等资源。 本文将分 3 期进行连载，共介绍 18 个在推荐系统任务上曾取得 SOTA 的经典模型。 第 1 期：DSSM、Youtube_DNN、SASRec、PinSAGE、TDM
选自freecodecamp 作者：Nick Bourdakos 机器之心编译 参与：Pedro、思源 CapsNet 将神经元的标量输出转换为向量输出提高了表征能力，我们不仅能用它表示图像是否有某个特征，同时还能表示这个特征的旋转和位置等物理特征。本文从可视化的角度出发详解释了 CapsNet 的原理的计算过程，非常有利于直观理解它的结构。 尽管卷积神经网络已经做出了令人惊艳的成绩，但还是存在着一些根本性问题。是时候开始思考新的解决方案和改进了。现在就让我们一起来了解一下胶囊网络（capsules net
AI 科技评论按：12 月上旬，NeurIPS 2018 在加拿大蒙特利尔会展中心（Palais des Congrès de Montréal）成功举办，AI 科技评论对此进行了报道。今年的会议在主题活动、投稿论文数量和参会人数上，相比往年都上了一个新台阶。NeurIPS 2018 吸引了近九千人参加，最终 1010 篇论文被接收，其中，有四篇论文被评为最佳论文，接收的覆盖了十大研究领域。
了解人工智能的进步，这将对未来产生巨大的影响： 人工智能是前沿和中心，商界和政府领导人正在思考正确的举措。但是在实验室里发生了什么呢?在实验室里，学术和企业研究人员的发现将为未来一年乃至更长的时间设定
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
