本项目是ICLR 2019论文《面向任务的对话的全局到本地存储指针网络》的PyTorch代码实现
陈桦 编译整理 量子位 出品 | 公众号 QbitAI 在编程世界里,SQL非常简单。然而,这种语言仍有一定的学习难度,导致许多人无法与关系数据库进行交互。Salesforce的人工智能研究团队正着手
下面论文列表为本小组同学推荐和整理,关于论文细节请联系论文作者。内容涵盖以下研究方向:文本生成、知识库问答、对话系统、推荐系统、情感分析、风格迁移。
研究人员开发了一种新的深度神经网络框架,允许人工智能系统在更好地学习新任务的同时,尽可能减少对先前任务所学到的知识的遗忘。使用框架学习新任务可以使AI更好地执行以前的任务,这种现象称为逆向迁移。
下面是作者整理的自然语言生成(NLG)论文速递系列的第二篇,该篇主要看点有:摘要生成、文本生成,标题生成,手写生成,机器翻译等,如果你对NLG感兴趣或者也在找一些相关的文章,希望能够帮助你~~
明敏 发自 凹非寺 量子位 | 公众号 QbitAI 现在,丢给AI一张图,它不仅能看图说话,还能应对人们提出的刁钻问题了。 比如,给它看一张经典卷福照。 它便能回答出: 一个穿着西服、正在比划手势的男人。 那么图中男人的眼睛是什么颜色的呢? 蓝色。 我定睛一看,还真是如此! 这就是视觉-语言领域的新成果:BLIP (Bootstrapping Language-Image Pre-training)。 它突破性地将过去往往只能单独执行的视觉-文本生成、视觉-文本理解两种任务整合在了一起,让AI可以在看
李林 编译整理 量子位 报道 | 公众号 QbitAI 让神经网络理解每个词的意思很容易,但上下文、词语之间的关系,依然是自然语言处理(NLP)中的难题。 Salesforce的一群NLP研究者发现,搞图像识别的同行们有个不错的办法,值得一试。 在图像识别领域,把ImageNet上预训练的CNN拿来,用在其他图像识别模型中,已经成为一种惯例。这种把训练好的模型参数迁移到新模型的方法,也就是这两年大热的迁移学习。 理解上下文,就是一个非常适合迁移学习的问题。 Learned in Translation 我们
1.Guiding Image Captioning Models Toward More Specific Captions(ICCV 2023)
ACL2019最佳论文出炉,共八篇文章获奖。来自中科院、华为诺亚方舟实验室等机构的论文获得了最佳长论文;一篇来自南京理工大学论文获得了杰出论文奖。除此之外,还有很多华人学者都是获奖论文的作者。由此可见,国内研究者在 NLP 领域还是取得非常不错的成绩。
刚刚,正在进行中的 EMNLP 2020 大会公布了一系列奖项,其中最佳论文奖由加州大学伯克利分校的研究者获得,爱丁堡大学华人博士生 Yanpeng Zhao 为一作的论文获得了最佳论文荣誉提名奖(共 4 篇论文获此奖项)。另外,本届大会的最佳 Demo 奖由大家非常熟悉的 Hugging Face 团队摘得。
在过去的两年中,NLP在各种不同任务和应用上的进展十分迅速。这些进展是由于构建NLP系统的经典范式发生了转变带来的:很长一段时间以来,研究人员都使用预训练的词嵌入(如word2vec或GloVe)来初始化神经网络,然后使用一个特定于任务的架构,该架构使用单个数据集以监督方法训练。
论文名称:A Joint Many-Task Model: Growing a Neural Network for Multiple NLP Tasks
ChatGPT 等基于 Transformer 的大语言模型具备极强的在上下文中学习(In-Context Learning,ICL)的能力:输入少量示例样本,即能够正确回答同类问题。如何理解这种 ICL 能力?
尽管完整录取列表尚未公开,不过已经有许多投稿者在Twitter发表“中了”的消息。
导读 本文讨论了最新爆款论文(Training RNNs as Fast as CNNs)提出的LSTM变种SRU(Simple Recurrent Unit),以及基于pytorch实现了SRU,并且在四个句子分类的数据集上测试了准确性以及与LSTM、CNN的速度对比。 一.为什么要提出SRU? 深度学习的许多进展目前很多均是来源于增加的模型能力以及相关的计算,这经常涉及到更大、更深的深层神经网络,然而,虽然深层神经网络带来了明显的提升,但是也耗费了巨大的训练时间,特别是在语音识别以及机器翻译的模型训练
通过对齐三维形状、二维图片以及相应的语言描述,多模态预训练方法也带动了3D表征学习的发展。
在过去的几年里,神经网络为文本分类和问题回答等自然语言任务的准确性和质量带来了快速的提高。深度学习导致的令人印象深刻的结果的一个领域是需要机器生成自然语言文本的任务;其中两个任务是基于神经网络的模型需要具有最先进性能的文本摘要和机器翻译。 然而,到目前为止,所有基于神经网络和深度学习的文本生成模型都具有相同的,令人惊讶的人类局限性:像我们一样,他们只能逐字,甚至逐字母地生成语言。今天Salesforce正宣布一个能够克服这个限制的神经网络机器翻译系统,以完全并行的方式一次翻译整个句子。这意味着用户等待时间降
数据派THU公众号(DatapiTHU)后台回复“NLP34”获取34篇论文下载链接
【导读】专知内容组整理了最近七篇视觉问答(Visual Question Answering)相关文章,为大家进行介绍,欢迎查看! 1.VQA-E: Explaining, Elaborating, and Enhancing Your Answers for Visual Questions(VQA-E:解释、阐述并增强你对视觉问题的回答) 作者:Qing Li,Qingyi Tao,Shafiq Joty,Jianfei Cai,Jiebo Luo 机构:University of Science an
机器之心专栏 作者:蔡泽枫、李翔宇 阿里巴巴达摩院联合中国科学院深圳先进技术研究院提出面向多轮 Text-to-SQL 语义解析的 SQL 查询语句导向型预训练模型 STAR。 目前高速发展的互联网时代中,各种类型的数据不断涌现,其中,我们较为常用的就有表格数据,表格作为一种通用的结构化数据,我们可以根据需求设计 SQL 查询语句来获得表格中的知识,但是往往需要较高的设计成本以及学习成本。此时,Text-to-SQL 解析任务显得格外重要,而根据对话场景的不同,还分为单轮 Text-to-SQL 解析和多轮
本文介绍了一种用于神经网络机器翻译的全并行文本生成方法,该方法通过同时考虑多个可能的派生计划来生成翻译,从而显著减少了延迟。通过使用自回归模型和非自回归模型,作者展示了在翻译任务中,该方法在质量和速度方面均取得了显著的优势。
机器之心专栏 作者:钱利华 本文提出了一种为单步并行生成进行词之间依赖关系建模的方法。基于该方法的模型GLAT在不久前的国际机器翻译大赛(WMT2021)上击败一众自回归翻译系统,夺得了德语到英语方向机器翻译自动评估第一。 目前机器翻译中常用的神经网络模型(例如 Transformer ,LSTM)基本上都是自回归模型(Autoregressive models)。自回归模型在输出句子时是逐词按顺序生成的,每一个输出的词都依赖于之前的输出词。 虽然自回归模型被广泛应用并取得了不错的效果,但是自回归模型要求
机器之心整理 参与:李亚洲、吴攀 当地时间 2017 年 4 月 24-26 日,第五届 ICLR 会议将在法国土伦举行。会议的第一天已经过去,在这一天的会议上有什么值得关注的亮点呢?机器之心在本文中介绍了研究者 Carlos E. Perez 在 Medium 上总结的那些虽然被拒,但仍然值得关注的/有亮点的论文,还对谷歌、百度、Facebook 展示的部分热门研究论文进行了介绍。另外,ICLR 的官方 Facebook 主页有视频直播,现在也已能看到部分录制的视频:https://www.facebo
近年来,基于深度神经网络的机器翻译取得了飞速发展。目前大多数NMT模型都使用了编码器-解码器框架来实现,编码器将源语句的表示送入到解码器来生成目标句子;解码器通常以自回归的方式来工作,从左到右逐字地生成目标句子,第t个目标词的生成依赖于先前生成的t-1个目标词。
本文基于深度学习的注意力(Attention)机制与你分享一些学习总结。 近年来,注意力(Attention)机制被广泛应用到基于深度学习的自然语言处理各个任务中,之前我对早期注意力机制进行过一些学习总结 [1]。 随着注意力机制的深入研究,各式各样的 Attention 被研究者们提出。在 2017年 6 月 Google 机器翻译团队在 arXiv 上放出的 Attention is All You Need [2] 论文受到了大家广泛关注,自注意力(self-attention)机制开始成为神经网络
值得一提的是,来自中科院、华为诺亚方舟实验室等机构的论文获得了最佳长论文;一篇来自南京理工大学论文获得了杰出论文奖。除此之外,还有很多华人学者都是获奖论文的作者。由此可见,国内研究者在 NLP 领域还是取得非常不错的成绩。
选自MetaMind 作者:Romain Paulus、Caiming Xiong、Richard Socher 机器之心编译 参与:Jane W、Cindy、吴攀 去年四月被 Salesforce 收购的 MetaMind 仍然在继续进行自然语言领域的前沿研究。近日,其研究博客发布了一篇文章,详细介绍了一种用于文本摘要提取的深度强化模型(deep reinforced model),机器之心对这篇博客进行编译介绍,并在文后附带了相关的研究论文摘要。论文链接:https://arxiv.org/abs/17
Google发布的论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》,提到的BERT模型刷新了自然语言处理的11项记录。算是NLP的里程碑事件,也开始了大公司之间的数据和算力的装备竞赛。放一篇比较好的中文论文翻译。
AI科技评论消息,百度硅谷AI实验室最近推出强文,文中提出了一种被称为GNR(Globally Normalized Reader)的方法。据AI科技评论了解,该方法相比起之前的方法,其优势在于能够在保持问答抽取(Extractive question answering)任务性能不变的前提下,大大降低计算复杂度。当前许多的流行的模型,比如说双向注意流(Bi-Directional Attention Flow),都采用了代价昂贵的注意力机制和其它的诸如Match-LSTM来明确得到所有候选答案。相比之
这次会议共接收到投稿 2905 篇,比 2018 的 1544 近乎翻倍,接收文章数为 660 篇,接收率为 22.7%,与 2018 年的 24.9%,2017 年的 23.3% 差别不大。
摘要:近期的大量研究已经让我们看到了图神经网络模型(GNN)的强大潜力,很多研究团队都在不断改进和构建基础模块。但大多数研究使用的数据集都很小,如 Cora 和 TU。在这种情况下,即使是非图神经网络的性能也是可观的。如果进行进一步的比较,使用中等大小的数据集,图神经网络的优势才能显现出来。
论文 1:Implicit Neural Representations with Periodic Activation Functions
一年前的今天,ChatGPT 横空出世,人工智能的新时代似乎已经到来。短短两个月,ChatGPT 积累了一亿用户,速度远超 TikTok 和 YouTube 等热门应用;似乎每隔几天就会有新的基于生成式人工智能的创业公司出现;以 ChatGPT 和 GPT-4 为核心的智能助手也开始走进各个行业中,帮助普通用户简化工作流程和提高效率。
视觉问答(Visual Question Answering,VQA)专知荟萃 入门学习 进阶论文 Attention-Based Knowledge-based Memory Network Video QA 综述 Tutorial Dataset Code 领域专家 入门学习 基于深度学习的VQA(视觉问答)技术 [https://zhuanlan.zhihu.com/p/22530291] 视觉问答全景概述:从数据集到技术方法 https://mp.weixin.qq.com/s/dyor9bv
最近对比学习真的太火了,已然成为各大顶会争相投稿的一个热门领域,而它火的原因也很简单,就是因为它解决了有监督训练标注数据有限这个典型问题(这个问题在工业界非常滴常见)。所以对比学习的出现,给CV、NLP和推荐都带来了极大的福音,具体来说:
ACL 2018, the 56th Annual Meeting of the Association for Computational Linguistics将于2018年7月15日至20日在澳
伦敦帝国理工学院机器学习和自然语言处理著名学者Marek Rei 教授从2016年起,每年都会对ML&NLP相关的会议论文进行统计和分析,并一年一度发表分析结果,目前已成为该领域权威性的报告内容。
论文 1:Learning from Web Data with Memory Module
论文 1:A Simple Framework for Contrastive Learning of Visual Representations
国际计算语言学协会 (ACL,The Association for Computational Linguistics),是世界上影响力最大、最具活力的国际学术组织之一,其会员遍布世界各地。ACL 会议是计算语言学领域的首要会议,广泛涉及自然语言的计算方法及其各类研究领域。计算语言学协会第57届年会,即ACL 2019,于7月28日至8月2日在意大利佛罗伦萨举行。
AI 科技评论消息,KDD 2018 于 2018 年 8 月 19 日至 23 日在英国伦敦举行,开幕式上一系列奖项随之揭晓,由中国科学技术大学、微软人工智能和研究院、苏州大学团队合作的论文 XiaoIce Band: A Melody and Arrangement Generation Framework for Pop Music 获得 Research Track 最佳学生论文,以下是对这篇论文的详细解读:
LiDAR-Based Online 3D Video Object Detection With Graph-Based Message Passing and Spatiotemporal Transformer Attention
【新智元导读】ICLR 2017 将于2017年4月24日至26日在法国土伦(toulon)举行,11月4日已经停止接收论文。本文汇总了本年度NLP、无监督学习、对抗式生成、自动编码、增强学习、随机循
本文来源「中国人工智能学会通讯」第11期,感谢作者授权转载。 作者 | 孙健,李永彬,陈海青,邱明辉 过去 20 多年,互联网及移动互联网将人类带到了一个全新的时代,如果用一个词来总结和概括这个时代的话,「连接」这个词再合适不过。这个时代主要建立了四种连接:第一,人和商品的连接;第二,人和人的连接;第三,人和信息的连接;第四,人和设备的连接。 「连接」本身不是目的,它只是为「交互」建立了通道。在人机交互(Human-Computer Interaction)中,人通过输入设备给机器输入相关信号,这些信号包括
外卖美食知识图谱系列的第三篇文章,本文从技术层面介绍外卖套餐搭配的技术方案,包括离线、实时的套餐搭配的迭代,套餐质量评估方案,同时会介绍套餐搭配的业务应用。
从事深度学习的人数比以往任何时候都要多。在过去几年中,Journal和arXiv提交的内容增加了约5倍。如果你考虑的是未以学术论文形式发表其结果的从业者,从事与AI相关的工作的人数可能会增加10-25倍。这是我们不久前对arXiv订阅进行的简要分析:
近日,清华大学NLP组总结了最近30年来机器翻译领域最重要的论文和学术文献目录,并在Github上公开放出。
【1】 Reinforcement Learning with Formal Performance Metrics for Quadcopter Attitude Control under Non-nominal Contexts 标题:非标称环境下四轴飞行器姿态控制的形式化性能度量强化学习
领取专属 10元无门槛券
手把手带您无忧上云