最近,Hinton老师等提出了胶囊网络, 用神经元向量代替传统神经网络的单个神经元节点,以dynamic routing的方式去训练这种全新的神经网络。
在工业界,一个完整的推荐系统中通常包括两个阶段,分别为召回阶段和排序阶段。在召回阶段,根据用户的兴趣从海量的商品中去检索出用户(User)可能感兴趣的候选商品( Item),满足推荐相关性和多样性需求。在排序阶段,根据不同的目标,如CTR,CVR,时长等对候选出的商品进行打分。目前,对于用户兴趣的建模,通常是从用户的历史行为中挖掘出用户兴趣,以当前的深度学习模型为例,通常是将User的历史行为数据embedding到一个固定长度的向量中,以此表示该用户的兴趣。然而在实际环境中,一个用户的兴趣通常是多样的,使用单一固定长度的embedding向量难以刻画用户兴趣的多样性。Multi-Interest Network with Dynamic routing[1](MIND)用户多兴趣建模网络取代了原先的单一固定长度embedding向量,取而代之的是用户的多兴趣向量。在MIND中,主要的创新点在于:
本库用 Pytorch 实现的 Capsule Network 基于以下论文: Dynamic Routing Between Capsules by Sara Sabour, Nicholas Fr
来源:NYT,arXiv 编译:闻菲、刘小芹 【新智元导读】《纽约时报》今日发文,记者走访Hinton在多伦多的实验室,为我们带来Hinton新作“Capsule Network”的更多信息。同时,新智元注意到Hinton和Capsule Network作者之一的Nicholas Frosst最近新发表了论文,使用训练好的神经网络创建一种软决策树(soft decision tree),以此更好地理解神经网络如何做出分类决策。一方面推倒重建,一方面更好地理解,大神Hinton,一直奋斗在深度学习第一线。 2
大数据文摘作品 作者:魏子敏,龙牧雪 “卷积神经网络(CNN)的时代已经过去了!” ——Geoffrey Hinton 酝酿许久,深度学习之父Geoffrey Hinton在10月份发表了备受瞩目的Capsule Networks(CapsNet)。 Hinton本次挟CapsNet而来,大有要用它取代CNN的气势。 今天,有科技媒体发布Capsule Networks(CapsNet)开源的消息,文摘菌激动的去找了找Github链接,发现本次开源非常低调且隐蔽,隐藏在谷歌tensorflow的专题之下,没
【新智元导读】Hinton 提出用 Capsule 这个概念代替反向传播,引起广泛关注。本文来自Reddit上“Capsule networks为何与众不同,它真的比CNN效果更好吗?”的讨论,作者分析了capsule network与CNN不同的三个方面。 首先,capsule 的概念与卷积的概念大部分是独立的。例如,你可以有一个完全连接的capsule网络。但是,它们确实使用了卷积,而且也被与CNN进行比较。但是,我将在接下来解释中抽象出卷积,因为这会分散我们的核心思想。 因为capsule网络与传统的
【新智元导读】10月26日,深度学习元老Hinton的NIPS2017 Capsule论文《Dynamic Routing Between Capsules》终于在arxiv上发表。今天相关关于这篇论
【导读】10月26日,深度学习元老Hinton的NIPS2017 Capsule论文《Dynamic Routing Between Capsules》终于在arxiv上发表。今天相关关于这篇论文的T
金成勳在 GitHub 上梳理出的谱系图如下,小编在此基础上对各个分支网络做了介绍、补充,希望对读者了解网络体系间的关联有所帮助。如有缺陷,欢迎大家留言补充。 Github 项目地址:https://
在一般的图像识别过程中,模型只是简单地输出图像的类别,而没有输出图像的特征,甚至并不能内在地、完整地表征图像。这导致了在测试中受到对抗攻击时,除非让人进行对比验证,否则根本不知道出了问题;或者直到出了问题,才知道存在对抗攻击。
Convolutional Neural Networks for Sentence Classification (EMNLP 2014)
金成勳在 GitHub 上梳理出的谱系图如下(可点击图片放大查看),最后的蓝色字体部分是各分支内的杰出研究成果(附所有论文链接)。机器之心在此基础上对各个分支网络做了介绍、补充,希望对读者了解网络体系间的关联有所帮助。如有缺陷,欢迎大家留言补充。
选自arXiv 作者:Sara Sabour、Nicholas Frosst、Geoffrey Hinton 机器之心编译 Geoffrey Hinton 等人备受关注的 NIPS 2017 论文《Dynamic Routing Between Capsules》已于数小时前公开。 9 月份,Axios 的一篇报道指出,Geoffrey Hinton 呼吁研究者们对反向传播保持怀疑态度,并准备在深度学习之上重构人工智能的理论体系。报道指出,他和其他两位研究者被 NIPS 2017 接收的论文《Dynamic
最近有很多小伙伴想了解深度学习在文本分类的发展,因此,笔者整理最近几年比较经典的深度文本分类方法,希望帮助小伙伴们了解深度学习在文本分类中的应用。
Geoffrey Hinton 等人备受关注的 NIPS 2017 论文《Dynamic Routing Between Capsules》已于数小时前公开。 9 月份,Axios 的一篇报道指出,Geoffrey Hinton 呼吁研究者们对反向传播保持怀疑态度,并准备在深度学习之上重构人工智能的理论体系。报道指出,他和其他两位研究者被 NIPS 2017 接收的论文《Dynamic Routing Between Capsules》正是 Hinton 对于未来人工智能形态的新探索。 在论文未放出之前,业
Geoffrey Hinton 等人备受关注的 NIPS 2017 论文《Dynamic Routing Between Capsules》已于数小时前公开。
神经网络于上世纪50年代提出,直到最近十年里才得以发展迅速,正改变着我们世界的方方面面。从图像分类到自然语言处理,研究人员正在对不同领域建立深层神经网络模型并取得相关的突破性成果。但是随着深度学习的进一步发展,又面临着新的瓶颈——只对成熟网络模型进行加深加宽操作。直到最近,Hinton老爷子提出了新的概念——胶囊网络(Capsule Networks),它提高了传统方法的有效性和可理解性。
这篇文章有4篇论文速递信息,涉及胶囊网络、迁移学习、优化CNN和手指检测等方向(含一篇NIPS 2017、一篇ICMR 2018和一篇 VCIP 2017)。
机器之心整理 参与:蒋思源、李泽南、李亚洲 近几年,深度学习高速发展,出现了大量的新模型与架构,以至于我们无法理清网络类型之间的关系。在这篇文章中,中国香港科技大学(HKUST)助理教授金成勳总结了深度网络类型之间的谱系图,以便于我们索引不同类型网络的杰出研究成果。 金成勳在 GitHub 上梳理出的谱系图如下(点击图片放大查看),最后的蓝色字体部分是各分支内的杰出研究成果(附所有论文链接)。机器之心在此基础上对各个分支网络做了介绍、补充,希望对读者了解网络体系间的关联有所帮助。如有缺陷,欢迎
MIND算法全称为:Multi-Interest Network with Dynamic Routing for Recommendation at Tmall,由阿里的算法团队开发。
胶囊是一组神经元,它会学习检测给定区域图像的特定目标,它输出一个向量,向量的长度代表目标存在的概率估计,用向量的方向表示实体的属性。如果对象有轻微的变化(例如移位、旋转、改变大小等),那么胶囊将输出相同长度但方向略有不同的向量,因此,胶囊是等变化的(Equivariance)。 CNN:
还记得17年那天傍晚,在校园足球场、夕阳的沐浴下,nango拉着我讲解这篇胶囊……
【导读】2017年度神经信息处理系统大会(NIPS 2017)将于12 月份在美国长滩举行,本届NIPS共收到 3240 篇论文投稿,录用 678 篇,录用率为 20.9%;其中包括 40 篇口头报告论文和 112 篇 spotlight 论文。谷歌是大赢家,共中了23篇,包括之前备受关注的《Attention is All you Need》和Hinton的《Dynamic Routing between Capsules》,此次专知介绍这23篇的前8篇,点击文末「阅读原文」下载全部论文。 ▌论文介绍 1
【新智元导读】 在本次演讲中, Hinton讨论了用“capsule”作为下一代CNN的理由。 他解释了“标准”的卷积神经网络有什么问题?结构的层次太少,只有神经元、神经网络层、整个神经网络。所以,我们需要把每一层的神经元组合起来,形成一个组,并装到“舱”(capsule)中去,这样一来就能完成大量的内部计算,最终输出一个经过压缩的结果。“舱”(capsule)的灵感来自大脑皮层中的微柱体(mini-column)。CNN的代表人物是Yann LeCun,所以这也可以看成是两位大神在深度学习观点上的一次正面
这个比赛是一个文本分类的比赛,这个比赛目标是在给定文本中判断是否为恶意评论即01分类。训练数据还给了其他多列特征,包括一些敏感词特征还有一些其他指标评价的得分特征。测试集没有这些额外的特征只有文本数据。
【新智元导读】Hinton要打造下一代CNN的Capsule细节终于通过一篇论文发布。本文带来详细介绍。此前,Hinton曾讨论了用“capsule”作为下一代CNN的理由。他解释了“标准”的卷积神经网络有什么问题?结构的层次太少,只有神经元、神经网络层、整个神经网络。所以,我们需要把每一层的神经元组合起来,形成一个组,并装到“舱”(capsule)中去,这样一来就能完成大量的内部计算,最终输出一个经过压缩的结果。“舱”(capsule)的灵感来自大脑皮层中的微柱体(mini-column)。Hinton要
点云补全(Point Cloud Completion)用于修补有所缺失的点云(Point Cloud),从缺失点云出发估计完整点云,从而获得更高质量的点云。点云有助于用较小的数据量描述三维物体,在三维物体的检测识别领域应用广泛。在 PointNet[1] 和 PointNet++[2] 使用深度学习网络实现了点云分割和点云分类之后,点云深度学习逐渐成为热门研究领域。但是,从激光雷达等设备中获取的点云往往有所缺失,这给点云的后续处理带来了一定的困难,也凸显出点云补全作为点云预处理方法的重要性。
引言 斯蒂文认为机器学习有时候像婴儿学习,特别是在物体识别上。比如婴儿首先学会识别边界和颜色,然后将这些信息用于识别形状和图形等更复杂的实体。比如在人脸识别上,他们学会从眼睛和嘴巴开始识别最终到整个面孔。当他们看一个人的形象时,他们大脑认出了两只眼睛,一只鼻子和一只嘴巴,当认出所有这些存在于脸上的实体,并且觉得“这看起来像一个人”。 斯蒂文首先给他的女儿悠悠看了以下图片,看她是否能自己学会认识图中的人(金·卡戴珊)。 📷 斯蒂文接下来用几张图来考她: 📷 悠悠 图中有两只眼睛一个鼻子一张嘴巴,图中的物体是个
【导读】专知内容组整理了最近七篇图像分类(Image Classification)相关文章,为大家进行介绍,欢迎查看! 1. Learning Image Conditioned Label Space for Multilabel Classification(学习图像条件标签空间的多标签分类) ---- ---- 作者:Yi-Nan Li,Mei-Chen Yeh 摘要:This work addresses the task of multilabel image classification. I
第一次发内容,就从Hinton老人家的capsules开始吧。注意下面很多链接需要翻墙。 1. Hinton老人家早就看convolution network不爽,之前在很多场合都说CNN有问题(比如在Toronto, MIT和Stanford的讲座),capsules也是研究了很久。基本上CNN只能认出某个物体在图片里面移动了位置(invariance),如果有了转动或者缩放之类就不行了,无法实现equivariance,这个对computer vision是个大问题,比如把图片上下翻转就认不出来了,所
选自arXiv 机器之心编译 参与:Panda 近日,Geoffrey Hinton 那篇备受关注的 capsule 论文终于公开了,这是 Hinton 对未来人工智能形态的新探索,得到了人工智能领域
本文作者Ron Pressler是Parallel Universe公司的创始人,拥有着丰富的高性能开发经验。通过这篇文章,Ron向大家详细介绍了全新的开源JVM部署工具——Capsule。 以下为译文: 现实世界中,应用程序部署过程可能没有想象中的那么简单。应用程序其实非常“敏感”,在部署过程中,它会发现自己身处一个陌生的环境中,并且在与不同硬件、不同基础设施软件,以及陌生的邻居(应用程序)行交互。如果期望应用程序正常地运行,编码和部署过程都是重中之重。两者之间的平衡常常依赖于程序的编写语言、程序构成的运
在这个系列的第一部分,我谈到了架构的直观介绍和动机。在这部分,我将描述Capsule是如何在内部运作的。 第一部分:http://www.atyun.com/10006_深入了解Hinton的Caps
近年来,神经机器翻译(Neural Machine Translation,NMT)已经事实上成为了主流的机器翻译方法,其在大多数主流语言对上的翻译效果大大超过了传统的统计机器翻译模型,并已经部署到了如 Google Translate 等商用场景中。
夏乙 问耕 编译整理 量子位 出品 | 公众号 QbitAI “我的观点是把它全部抛掉,重头再来。” 今年9月的一次大会上,大神Geoffrey Hinton再次号召展开一次AI革命。 应该向何处去?
今年9月的一次大会上,大神Geoffrey Hinton再次号召展开一次AI革命。
机器之心原创 作者:蒋思源 前几天,Sara Sabour 开源了一份 Capsule 代码,该代码是论文 Dynamic Routing between Capsules 中所采用的实现。其实早在去年刚公布此论文,机器之心就曾详解解读过核心思想与基本代码,我们采用的代码也是各研究者尝试复现论文结果的模型。而最近 Sara 开放的代码是标准的官方实现,因此我们希望能解读部分核心代码,并探讨其与 naturomics 等人实现过程的差异。 Sara 实现地址:https://github.com/Sarasr
【新智元导读】Hinton 上周发表的一篇论文 Dynamic Routing Between Capsules 提出用 Capsule 这个概念代替反向传播,引起广泛关注,大数医达创始人,CMU计算机学院暨机器人研究所博士邓侃用浅显的语言梳理解读了论文。邓侃认为,capsule 作为视觉数学表征,很可能是为了把视觉,听觉、阅读的原本相互独立的数学向量,统一起来,完成多模态机器学习的终极目标。 邓侃也是 AI WORLD 2017 世界人工智能大会智能医疗论坛的讲者,届时他将以《多模态智能疾病诊断系统的四
李林 允中 编译整理 量子位 出品 | 公众号 QbitAI △ Hinton等合写的反向传播论文 1986年,39岁的Geoffrey Hinton与人合写了一篇论文。40年后,这篇论文已经成为推动
来源:中国大数据 本文为你介绍RedditSota 统计的各种机器学习任务的最顶级研究成果(论文)。 该 GitHub 库提供了所有机器学习问题的当前最优结果,并尽最大努力保证该库是最新的。如果你发现某个问题的当前最优结果已过时或丢失,请作为问题提出来(附带:论文名称、数据集、指标、源代码、年份),我们会立即更正。 这是为所有类型的机器学习问题寻找当前最优结果的一次尝试。我们都无法独自完成,因此希望每一位读者参与进来。如果你发现了一个数据集的当前最优结果,请提交并更新该 GitHub 项目。 监督学习 一、
Capsule8是一家由经验丰富的黑客和安全企业家创建的高新科技初创型企业,总部位于纽约布鲁克林,成立于2016年秋季,在2018年8月获得1500万美元的B轮融资。
作为提供容器管理服务的组件,Zun允许用户在没有管理服务器或集群参与的情况下快速启动和操作管理容器。它集成了Neutron、Cinder、Keystone等核心OpenStack服务,实现了容器的快速普及。通过这种方式,OpenStack的所有原始网络、存储和识别验证工具都应用于容器系统,使容器能够满足安全性和合规性要求。
机器学习作为一门多领域交叉学科,已经存在很长时间了,但近些年才开始火热起来。本文中列出了你需要知道的机器学习领域的算法,了解这些你就可以解决在机器学习中所遇到的任何问题。但这只是个覆盖大部分基础算法的
选自GitHub 机器之心整理 参与:黄小天、蒋思源 今日,机器之心小编在 Github 上发现了一个良心项目:RedditSota 统计了各种机器学习任务的最顶级研究成果(论文),方便大家索引查阅。机器之心对此项目做了介绍。 项目地址:https://github.com//RedditSota/state-of-the-art-result-for-machine-learning-problems 该 GitHub 库提供了所有机器学习问题的当前最优结果,并尽最大努力保证该库是最
该 GitHub 库提供了所有机器学习问题的当前最优结果,并尽最大努力保证该库是最新的。如果你发现某个问题的当前最优结果已过时或丢失,请作为问题提出来(附带:论文名称、数据集、指标、源代码、年份),我们会立即更正。
10月26日,深度学习元老Hinton的NIPS2017 Capsule论文《Dynamic Routing Between Capsules》终于在arxiv上发表。Hinton 之前就一直介绍Ca
项目地址:https://github.com//RedditSota/state-of-the-art-result-for-machine-learning-problems
中文长文本分类、短句子分类、多标签分类、两句子相似度(Chinese Text Classification of Keras NLP, multi-label classify, or sentence classify, long or short),字词句向量嵌入层(embeddings)和网络层(graph)构建基类,FastText,TextCNN,CharCNN,TextRNN, RCNN, DCNN, DPCNN, VDCNN, CRNN, Bert, Xlnet, Albert, Attention, DeepMoji, HAN, 胶囊网络-CapsuleNet, Transformer-encode, Seq2seq, SWEM
领取专属 10元无门槛券
手把手带您无忧上云