机器翻译一直是自然语言处理领域的热门及前沿方向,不论是sequence-to-sequence架构,attention mechanism还是Transformer模型等,都和机器翻译有着最为紧密的关系。6月2日(周日),《SFFAI 32-机器翻译》两位主讲嘉宾(张文,邵晨泽)为大家精选了机器翻译近期在模型、训练、解码以及非自回归结构中的几篇代表性工作,和大家一起学习分享最新的研究进展。
随着信息流和短视频应用的发展,推荐系统已经从传统的单目标浅层网络的中小型架构演进为多目标超大规模深度学习的复杂架构。这种复杂的系统的演进对大规模的训练推理和在线排序提出了非常高的技术要求。 另外随着用户消费内容类型以及业务复杂度的增加,如何更好地理解文字、图片、视频到多模态,乃至用户画像的进一步演进,到最终可以给用户推送最合适的内容,也成为了一个在不断迭代和优化的过程。 11 月 5-6 日,AICon 全球人工智能与机器学习技术大会(北京站)2021 将落地北京。我们邀请到了腾讯看点 CTO 兼副总经理、
机器翻译一直是自然语言处理中的重要研究任务,而最近的几个月自然语言处理领域尤其在文本生成、机器翻译领域又有新的突破不断提出!今天的两位讲者,一位讲者将分享双向同步文本生成,可以快速高效的实现文本生成,另一位讲者将介绍多语言翻译部分的工作,来进一步提高机器翻译的性能。最新自然语言处理进展,快来一起和讲者探讨一下吧~
👆点击“博文视点Broadview”,获取更多书讯 2022年7月,Meta(原Facebook)AI 发布了一个大规模机器翻译模型NLLB-200,该模型在神经网络架构上混合了稠密和稀疏神经网络,参数规模达545亿,在覆盖202种语言、2440个语向的180亿平行句对上进行训练,训练后的单一模型可支持所有覆盖语言之间的的自动翻译(即202X201=40602个语向的互译)。 该模型的名字是英文No Language Left Behind的缩写,体现了机器翻译实现世界上所有语言互译的美好愿景。 历经7
上一周,清华大学AMiner发布了《2018自然语言处理研究报告》(下载地址:https://pan.baidu.com/s/1IXuZLgGVHjfYyyX63jcVHQ),因为时间原因,没能及时的更新,希望大家见谅。现在作者以初学者的态度整理了一下该报告的主要内容,希望能帮助大家。
强烈推荐一个项目:Chinese NLP ,这是由滴滴人工智能实验室所属的自然语言处理团队创建并维护的,该项目非常细致的整理了中文自然语言处理相关任务、数据集及当前最佳结果,相当完备。
前一篇文章分享了生成对抗网络(GAN),详细讲解什么是生成对抗网络,及常用算法(CGAN、DCGAN、infoGAN、WGAN)、发展历程、预备知识。
11月13日,深圳 - 腾讯AI Lab今日发布了一款AI辅助翻译产品 - “腾讯辅助翻译”(Transmart),可满足用户快速翻译的需求,用AI辅助人工翻译提高效率和质量。该产品采用业内领先的人机交互式机器翻译技术,融合神经网络机器翻译、统计机器翻译、输入法、语义理解、数据挖掘等多项前沿技术,配合亿级双语平行数据,为用户提供实时智能翻译辅助,帮助用户更好更快地完成翻译任务。产品旨在致敬人工翻译,辅助人工翻译更快、更好地完成任务,探索人工智能赋能翻译行业新思路。
你真的了解NLP吗?本文主要是对当前自然语言处理领域的主要研究内容进行了梳理,共包含五个部分:NLP概述、NLP相关技术分类、NLP研究人员分布、NLP的应用、NLP的发展趋势。该篇文章能够帮助刚刚入坑NLP的小伙伴尽快找到自己的定位,同时也能协助已经在坑中挣扎多年的小伙伴看清该领域的全貌。
---- 新智元报道 编辑:QQ 【新智元导读】 10月30日,字节跳动技术社区ByteTech将主办对外技术沙龙,大咖分享,圆桌论坛,等你围观参与! 字节跳动在全球推出了多款有影响力的产品,包括今日头条、抖音、西瓜视频、飞书,等等,产品和服务覆盖全球150个国家和地区。截至2021年6月,抖音日活跃用户数已经突破6亿,字节跳动旗下全线产品总MAU(月活跃用户)超过19亿。 一款全球化的产品,该如何冲破语言阻碍?将产品信息快速传达给不同语言背景的用户,提升产品价值?这是产品全球化过程中需要解决的
【AI100 导读】本周的 The Ones 为大家推荐了一篇 GAN 在 Chatbot 领域应用的 paper,一个基于 matlab 的深度学习框架 Lightnet,一篇述说机器翻译真实现状的深度文章,一张描述 Chatbot pipeline 的图,一本来自 Keras 作者的书,旨在帮助零基础的同学通过实例来学习深度学习。 1. One Paper Adversarial Learning for Neural Dialogue Generation 链接: https://arxiv.or
👆点击“博文视点Broadview”,获取更多书讯 广义上讲,“翻译”是指把一个事物转化为另一个事物的过程。 在人类语言的翻译中,一种语言文字通过人脑转化为另一种语言表达,这是一种自然语言的“翻译”。 如图1所示,可以通过计算机将一句汉语自动翻译为英语,汉语被称为源语言(Source Language),英语被称为目标语言(Target Language)。 图 1 通过计算机将一句汉语自动翻译为英语 一直以来,文字的翻译往往是由人完成的。 时至今日,人工智能技术的发展已经大大超越了人类传统的认知,用计
俞谦,携程度假大数据研发部算法工程师,主要负责机器翻译的研究与应用,目前专注于自然语言处理在垂域下的成熟解决方案。
在2906篇投稿的激烈竞争中,本篇论文获得ACL2019最佳长论文奖项(Best Long Paper)。这篇文章研究应该如何桥接神经机器翻译训练和预测,是中国大陆第一篇Best Long Paper。通过判断依据在“基于参考文本中的词”和“解码器自己的输出中预选择词”两种之间切换,该论文探索解决seq2seq转换中长期存在的暴露偏差问题。将有可能影响未来机器翻译的相关研究与工作。 本次学术论坛邀请到该篇论文的联合作者,腾讯微信事业群模式识别中心的孟凡东高级研究员,为大家对论文进行介绍和解读。 报告时间:
于恒:直播间的朋友大家好!欢迎大家来到本次AI科技大本营公开课,我是本次讲师于恒。
来源 | 微软研究院AI头条 自然语言处理(NLP)作为人工智能研究的核心领域之一,长久以来都受到广泛关注。微软全球执行副总裁沈向洋博士曾表示“懂语言者得天下,人工智能对人类影响最为深刻的就是自然语言方面。”现在很多研究人员都在进入自然语言领域,希望可以解决“让机器理解人类语言”这一难题。 为了帮助大家更好地学习NLP,微软亚洲研究院自然语言计算组资深研究员韦福如为大家推荐了一些关于自然语言学习方面经典的书籍和课程,分为入门级和进阶级两大类。 好,同学们现在都准备好了吗?请系好安全带,我们这辆开往“NLP
【新智元导读】机器翻译是深度学习技术最切近实际的应用之一,现在在互联网上有很广泛的使用。此外,不久前,许多科技大公司也相应地推出了为图片或视频自动生成字幕的应用,根据外媒的报道,Facebook曾对外称,这是一项能让盲人“看”见图片的技术。深度学习在这些应用中究竟是怎么发挥作用的,其背后的技术是什么?深度学习领域大神级人物Yoshua Bengio在本次演讲中作了详细的解读。 Yoshua Bengio,电脑科学家,毕业于麦吉尔大学,在MIT和AT&T贝尔实验室做过博士后研究员,自1993年之后就在蒙特利
【编者按】对自然语言计算技术的研究人员来说,能够实现人与计算机可以进行有效沟通,计算机能理解用户的意图,执行命令或回答问题一直是他们努力迈进的目标。基于近30年来在自然语言计算领域的研究经验,微软亚洲
10月27日晚7点,机器之心最新一期线上分享邀请到东北大学教授、博士生导师肖桐带来分享,系统梳理机器翻译发展的技术脉络,并介绍机器翻译发展历程中的经典工作。直播过程中将送出20本肖桐和朱靖波教授的联合著作《机器翻译:基础与模型》。详情见文末。 广义上讲,“翻译”是指把一个事物转化为另一个事物的过程。 在人类语言的翻译中,一种语言文字通过人脑转化为另一种语言表达,这是一种自然语言的“翻译”。 如图1所示,可以通过计算机将一句汉语自动翻译为英语,汉语被称为源语言(Source Language),英语被称为目标
2018年7月,爱尔兰都柏林城市大学教授、自然语言处理和机器翻译领域专家刘群博士,正式加入华为诺亚方舟实验室,任语音语义首席科学家,主导语音和自然语言处理领域的前沿研究和技术创新。
NVIDIA 创始人兼 CEO 黄仁勋先生关于计算领域之未来的主题演讲。 演讲人:黄仁勋 NVIDIA 创始人兼 CEO 2018/11/21 周三 10:00 - 12:00 | 主会场 三层金鸡湖厅
自然语言处理(NLP)作为人工智能研究的核心领域之一,长久以来都受到广泛关注。微软全球执行副总裁沈向洋博士曾表示“ 懂语言者得天下,人工智能对人类影响最为深刻的就是自然语言方面。 ”现在很多研究人员都在进入自然语言领域,希望可以解决“让机器理解人类语言”这一难题。 为了帮助大家更好地学习NLP,我们邀请微软亚洲研究院自然语言计算组资深研究员韦福如为大家推荐了一些关于自然语言学习方面经典的书籍和课程,分为入门级和进阶级两大类。 好,同学们现在都准备好了吗?请系好安全带,我们这辆开往“NLP大佬界”方向的车就要
在2017年,Transformer模型由论文《Attention is all you need》提出,最开始被应用于机器翻译任务上并取得了很好的效果。它摒弃了传统LSTM的串行结构,使用了基于Self Attention的模型结构,具有更好的并行计算能力,这使得它在大规模数据模型训练方面更有优势。
注意力(Attention)机制,是神经机器翻译模型中非常重要的一环,直接影响了翻译的准确度与否。
文章知乎链接 https://zhuanlan.zhihu.com/p/92654122
CCF-腾讯犀牛鸟基金由腾讯与中国计算机学会联合发起,旨在通过搭建产学合作平台,连接产业实践问题与学术科研问题,支持海内外优秀青年学者开展与产业结合的前沿科研工作。 2018年CCF-腾讯犀牛鸟基金共涵盖机器学习、计算机视觉及模式识别、语音技术、自然语言处理、大数据技术、区块链等6个重点技术领域,涉及31项研究命题。 上一期,我们介绍了机器学习、计算机视觉与模式识别两个申报主题,这期我们将介绍语音技术专题和自然语言处理技术专题。欢迎青年学者关注了解,希望大家可以从中找到适合自己的申报命题。 三、语音技
眼看双十一要到,各路电商又要开始开辟激情战场来绝地求生了。所以今天禅师特意找来一篇课程,由被称为“外贸电商平台鼻祖”eBay 的数据科学家李睿分享,NLP 在 eBay 的技术实践。
CCF-腾讯犀牛鸟基金由腾讯与中国计算机学会联合发起,旨在通过搭建产学合作平台,连接产业实践问题与学术科研问题,支持海内外优秀青年学者开展与产业结合的前沿科研工作。 2018年CCF-腾讯犀牛鸟基金共涵盖机器学习、计算机视觉及模式识别、语音技术、自然语言处理、大数据技术、区块链等6个重点技术领域,涉及31项研究命题。 上一期,我们介绍了机器学习、计算机视觉与模式识别两个申报主题,这期我们将介绍语音技术专题和自然语言处理技术专题。欢迎青年学者关注了解,希望大家可以从中找到适合自己的申报命题。 三、语音技术专
春联传统源远流长,一幅写春联的需要极高的文学素养,不仅要求平仄齐整、意境对称,还要表达辟邪除灾、迎祥纳福的美好愿望。
包括机器学习、计算机视觉、计算机图形学、自然语言处理、语音、数据挖掘、智能问答、机器翻译、软件开发、AI 伦理、商业创新……这些书单里既有最经典的专业书籍,也有一些适合轻快阅读的大众读物。
70 年代以后随着互联网的高速发展,语料库越来越丰富以及硬件更新完善,自然语言处理思潮由理性主义向经验主义过渡,基于统计的方法逐渐代替了基于规则的方法。
循环神经网络(五) ——Bean搜索、bleu评分与注意力模型 (原创内容,转载请注明来源,谢谢) 一、概述 本文主要讲解机器翻译过程中涉及的算法,主要包括bean搜索算法及其改进与误差分析、bleu
论文作者:郑在翔,周浩,黄书剑,陈家骏,许晶晶,李磊论文地址:https://proceedings.neurips.cc/paper/2021/file/afecc60f82be41c1b52f6705ec69e0f1-Paper.pdf论文代码:https://github.com/zhengzx-nlp/REDER 1 简介 众所周知,(神经)机器翻译是一个序列到序列生成任务。标准的序列到序列生成模型类似于一个单工通信通道(在单工信道中信号传递是单向的,即只能从源端(源语言)到目标端(目标语言);与之
基于深度学习的神经网络机器翻译已经在通用翻译、领域翻译、翻译评估和自动译后编辑等多个场景,产生了巨大的商业价值,但是仍然存在着两个典型问题。一方面,过译漏译等质量问题仍然存在;另一方面,端到端的神经网络黑盒架构使专家介入优化比较困难,传统离散知识不能很好融入模型算法。 在 2021 年 11 月 25 日和 26 日,AICon 全球人工智能与机器学习大会(北京)上,我们邀请到了华为文本机器翻译实验室主任杨浩,他将从离散知识和神经网络模型的融合角度为你带来《知识驱动的机器翻译研究和实践》,希望可以为你带来启发。
本文将从 Embedding 的本质、Embedding的原理、Embedding的应用三个方面,详细介绍Embedding(嵌入)。
本文作者 张家俊研究员,中国科学院自动化研究所 2018年腾讯AI Lab犀牛鸟专项研究计划入选学者 机器翻译旨在利用计算机实现自然语言之间的自动翻译,一直是自然语言处理与人工智能领域的重要研究方向,近年来更是取得了突破性进展,已成为大众较为熟知和常用的技术。现在一提起机器翻译技术的起源,对该研究领域稍有了解的人们都知道是美国的瓦伦·韦弗(Warren Weaver,后面简称韦弗)最先于1947年提出机器翻译概念并于1949年7月正式记录于名为《翻译》的备忘录。不过,可能大多数人不是特别了解韦弗究竟是
论文名称:A Joint Many-Task Model: Growing a Neural Network for Multiple NLP Tasks
2月28日,机器翻译先驱 Jaime Guillermo Carbonell 因病去世,享年67岁。
摘自AMiner 机器之心整理 参与:李亚洲、思源 自然语言处理是现代技术最重要的组成部分之一,而最近清华大学和中国工程院知识智能联合实验室发布一份非常全面的 NLP 报告。该报告从 NLP 的概念介
精英人才培养计划是一项校企联合人才培养项目,入选学生将受到业界顶尖技术团队与高校导师的联合指导及培养。培养期间,学生将获得3个月以上到访腾讯开展科研访问的机会,基于真实产业问题及海量数据,验证学术理论、加速成果应用转化、开阔研究视野。同时项目组将为学生搭建线上和线下学习、交流平台,帮助学生挖掘更多潜能。学生通过“十分精英圈”线上平台,随时获取前沿技术资讯、沉淀科研收获与心得;通过“智学研讨会”及“智享交流会”等线下平台,积极参与海内外顶级学术会议及学术专家交流活动;通过“精英研学营”进阶平台,对话产业
Transformer在2017年由Google在题为《Attention Is All You Need》的论文中提出。Transformer是一个完全基于注意力机制的编解码器模型,它抛弃了之前其它模型引入注意力机制后仍然保留的循环与卷积结构,而采用了自注意力(Self-attention)机制,在任务表现、并行能力和易于训练性方面都有大幅的提高。
【新智元导读】斯坦福大学CS224n(全称:深度学习与自然语言处理)是自然语言处理领域很受欢迎的课程,由 Chris Manning 和 Richard Socher 主讲。本课程所有教学视频和课程材
AI科技评论按:近日吴恩达发文将在4月底离职百度。几乎在同一时间,百度也宣布进一步深度整合,将包括NLP、KG、IDL、Speech、Big Data等在内的百度核心技术,组成百度AI技术平台体系(AIG),并任命百度副总裁王海峰为AI技术平台体系(AIG)总负责人,同时晋升为Estaff成员,转向百度集团总裁和首席运营官陆奇汇报。 王海峰是自然语言处理领域的权威科学家,是该领域最具影响力的国际学术组织ACL 50多年历史上唯一出任主席(President)的华人,同时也是截至目前最年轻的ACL Fel
李飞飞在整个学术界和工业界的重心都放在如何做出更好的算法时,她不顾一切质疑和阻挠创建了ImageNet数据集,至此世人再难复制ImageNet创立过的辉煌。同样,参加了第一届ImageNet挑战赛的竞赛优胜者,现在都出任了百度、谷歌和华为等公司高管(如林元庆,余凯,张潼)。还有些在获奖算法基础上创立公司,如马修•泽勒(Matthew Zeiler)2013年赢得ImageNet挑战赛后,创办了Clarifai公司,之后获得了4000万美元风险投资。 2014年的ImageNet挑战赛冠军中的两位牛津大学研究
在人类语言的翻译中,一种语言文字通过人脑转化为另一种语言表达,这是一种自然语言的“翻译”。
文章转自清华大学刘知远老师的github:https://github.com/zibuyu/research_tao/blob/master/00_nlp.md
作者 | 陈彩娴 编辑丨岑峰1月6日,2021年ACL Fellow名单正式公布! 今年,一共有8位知名的自然语言处理学者入选,其中,华人学者有2位,占了1/4,分别是中国科学院自动化所的宗成庆教授与华为诺亚方舟实验室刘群博士。 根据官网消息,今年两位华人学者的入选理由分别是: 刘群:对机器翻译与中文自然语言处理作出了卓越贡献; 宗成庆:对机器翻译与情感分析的研究作出重大贡献,并不断促进中国自然语言处理的发展。 ACL Fellow计划始于2011年,旨在表彰对自然语言处理领域的科技研究与社区服务作出了杰出
领取专属 10元无门槛券
手把手带您无忧上云