首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Paper | 机器翻译里程碑,多语言机器翻译模型 M2M-100

Paper | 机器翻译里程碑,多语言机器翻译模型 M2M-100

作者头像
昱良
发布于 2020-10-30 02:44:28
发布于 2020-10-30 02:44:28
1.4K0
举报

(给机器学习算法与Python学习加星标,提升AI技能)

荐语: 多语言机器翻译模型 M2M-100 不依赖以英语为中心的数据,可以实现 100 种语言之间的相互翻译。

论文:Beyond English-Centric Multilingual Machine Translation

  • 作者:Angela Fan、Shruti Bhosale、Holger Schwenk 等
  • 论文链接:https://ai.facebook.com/research/publications/beyond-english-centric-multilingual-machine-translation

摘要:近日,Facebook 根据多年对 MT 的研究宣布实现了一个重要的里程碑:首个单一的大规模 MMT 模型,该模型可以实现 100x100 个语言对的直接翻译,而不依赖以英语为中心的数据。这个单一的多语言模型表现得和传统双语模型一样好,并且比以英语为中心的多语言模型提高了 10 个 BLEU 点。

具体而言,通过使用新的挖掘策略来创建翻译数据,该研究构建了首个真正的多对多数据集。该数据集拥有 100 种语言的 75 亿个句子。研究者使用可扩展技术来建立具有 150 亿个参数的通用模型,它从相关语言中捕获信息,并反映出更加多样化的语言文字和词法。目前,这项研究已经开源。

多对多数据集和多语言模型示意图。

训练语料库中桥梁语言的数据量。

多对多和以英语为中心语言模型的比较。在包含英语的评估方向上,多对多模型与以英语为中心模型的性能相当,但在非英语方向上的性能要好得多。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-10-28,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 机器学习算法与Python学习 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
不以英语为中心,百种语言互译,FB开源首个单一多语言MT模型
机器之心报道 机器之心编辑部 Facebook AI 近日开源了多语言机器翻译模型 M2M-100,该模型不依赖以英语为中心的数据,可以实现 100 种语言之间的相互翻译。 机器翻译(MT)打破了人类之间的语言障碍。如今,平均每天需要在 Facebook 新闻提要上提供 200 亿次翻译,这得益于低资源机器翻译领域的发展以及评估翻译质量的最新进展。 典型的 MT 系统需要为每种语言和每种任务构建单独的 AI 模型,但这种方法无法在 Facebook 上进行有效推广,因为人们在数十亿个帖子中发布超过 160
机器之心
2023/03/29
4860
不以英语为中心,百种语言互译,FB开源首个单一多语言MT模型
7 Papers & Radios | 全球最大人脸数据集;类Transformer模型跨界视觉任务新SOTA
机器之心 & ArXiv Weekly Radiostation 参与:杜伟、楚航、罗若天 本周的重要论文包括格灵深瞳等机构开源的全球最大人脸数据集,以及类 Transformer 模型跨界在视觉任务上取得了新 SOTA。 目录: LambdaNetworks: Modeling long-range Interactions without Attention Fourier Neural Operator for Parametric Partial Differential Equations Be
机器之心
2023/03/29
3040
7 Papers & Radios | 全球最大人脸数据集;类Transformer模型跨界视觉任务新SOTA
150亿参数大杀器!Facebook开源机器翻译新模型,同传人员或失业
当把中文翻译成法文时,以前最好的多语种模型的方式是把中文翻译成英文,把英文翻译成法文,因为英语的训练数据是最多的。
新智元
2020/10/29
1.3K0
浅析大规模多语种通用神经机器翻译方法
目前,神经机器翻译(NMT)已经成为在学术界和工业界最先进的机器翻译方法。最初的这种基于编码器-解码器架构的机器翻译系统都针对单个语言对进行翻译。近期的工作开始探索去扩展这种办法以支持多语言之间的翻译,也就是通过只训练一个模型就能够支持在多个语言之间的翻译。
AI科技评论
2019/11/26
9490
无需依赖英语中介,FB发布可翻译100种语言的AI模型
不管你在世界的哪个地方,美国、巴西、法国或者亚洲的婆罗洲岛,借助机器翻译,谷歌和Facebook这类软件都可以把平台上的几乎任何文字内容都翻译成当地语言。
大数据文摘
2020/10/30
1.1K0
无需依赖英语中介,FB发布可翻译100种语言的AI模型
并非里程碑! Facebook的100种语言互译模型夸大宣传遭质疑
昨天,Facebook刚刚宣布其机器翻译取得里程碑式进展,可在100种语言之间实现互译,并且不依赖英语这个「中介」,今天reddit网友就来掀车了。
新智元
2020/10/29
4340
首次赢得WMT机器翻译大赛,Meta证明单个多语言模型强于双语模型
Meta 提出的单个多语言模型,首次超过最佳双语模型,赢得了著名的 WMT 竞赛。
机器之心
2021/11/18
6030
首次赢得WMT机器翻译大赛,Meta证明单个多语言模型强于双语模型
ICLR 2022 | 字节提出:switch-GLAT,多语言非自回归机器翻译模型
作者丨宋珍巧 1 简介 多语言机器翻译旨在用一个模型实现多语向的翻译功能,从而可以减少线上需求的模型数量,同时提升低资源语言的翻译性能。目前已有的多语言模型大多基于 Transformer 建模,受限于翻译性能和推理速度。基于该问题,字节跳动人工智能实验室在 "switch-GLAT: Multilingual Parallel Machine Translation via Code-Switch Decoder" 这篇论文中提出一个叫做 switch-GLAT 的非自回归多语言翻译模型。 给定一个源语言
AI科技评论
2022/06/02
8670
ICLR 2022 | 字节提出:switch-GLAT,多语言非自回归机器翻译模型
સુપ્રભાત!懂「印度方言」的多语言机翻模型挑战0资源翻译,论文已被ACL2021接收
《圣经·旧约·创世记》中记载着「巴别塔」的传说:人类联合起来兴建能通往天堂的高塔。
新智元
2021/07/06
5650
机器翻译新时代:Facebook 开源无监督机器翻译模型和大规模训练语料
【导读】基于深度学习的机器翻译往往需要数量非常庞大的平行语料,这一前提使得当前最先进的技术无法被有效地用于那些平行语料比较匮乏的语言之间。为了解决这一问题,Facebook提出了一种不需要任何平行语料的机器翻译模型。该模型的基本思想是, 通过将来自不同语言的句子映射到同一个隐空间下来进行句子翻译。近日,Facebook开源了这一翻译模型MUSE: Multilingual Unsupervised and Supervised Embeddings,并提供预训练好的30种语言的词向量和110个大规模双语词典
WZEARW
2018/04/12
3.1K0
机器翻译新时代:Facebook 开源无监督机器翻译模型和大规模训练语料
一个模型翻译103 种语言!谷歌500亿参数M4模型突破多语言神经翻译极限
在过去的几年里,机器翻译(MT)系统的质量有了巨大的进步,神经机器翻译(NMT)的发展打破了世界各地的语言障碍。
新智元
2019/10/14
1.2K0
一个模型翻译103 种语言!谷歌500亿参数M4模型突破多语言神经翻译极限
XLM-RoBERTa: 一种多语言预训练模型
Wisdom in the mind is better than money in the hand.
zenRRan
2020/07/28
3.1K0
谷歌最强NLP模型BERT官方中文版来了!多语言模型支持100种语言
上周,谷歌AI团队开源了备受关注的“最强NLP模型”BERT的TensorFlow代码和预训练模型,不到一天时间,收获3000多星!
新智元
2018/12/07
4.4K0
7 Papers & Radios | 微软亚研升级版Swin Transformer;字节跳动iBOT刷新多项SOTA
机器之心 & ArXiv Weekly Radiostation 参与:杜伟、楚航、罗若天 本周论文主要包括微软亚研团队提出一种升级版SwinTransformer;字节跳动、约翰霍普金斯大学等机构组成的联合团队,提出了适用于视觉任务的大规模预训练方法 iBOT,该方法在十几类任务和数据集上刷新了 SOTA 结果,在一些指标上甚至超过了 MAE 。 目录: N-grammer: Augmenting Transformers with latent n-grams  Swin Transformer V2:
机器之心
2023/03/29
3880
7 Papers & Radios | 微软亚研升级版Swin Transformer;字节跳动iBOT刷新多项SOTA
SOTA又换庄家!谷歌130亿参数多语言模型mT5重磅来袭,101种语言轻松迁移
前几天,Facebook发了一个百种语言互译的模型M2M-100,这边谷歌着急了,翻译可是我的老本行啊。
新智元
2020/10/29
1K0
EMNLP 2021 | 百度:多语言预训练模型ERNIE-M
2021年伊始,百度发布多语言预训练模型ERNIE-M,通过对96门语言的学习,使得一个模型能同时理解96种语言,该项技术在5类典型跨语言理解任务上刷新世界最好效果。在权威跨语言理解榜单XTREME上,ERNIE-M也登顶榜首,超越微软、谷歌、Facebook等机构提出的模型。(但是现在降到了第7名)
NewBeeNLP
2021/12/17
1.2K0
EMNLP 2021 | 百度:多语言预训练模型ERNIE-M
论文领读|面向机器翻译的多语言预训练技术哪家强?最新进展一睹为快!
本文作者:李上杰, 澜舟科技算法实习生,天津大学硕士一年级,研究方向为多语言机器翻译、无监督机器翻译,邮箱:sj_li@tju.edu.cn。纸上得来终觉浅,绝知此事要躬行。
澜舟科技
2022/07/19
7970
论文领读|面向机器翻译的多语言预训练技术哪家强?最新进展一睹为快!
【Facebook AI && 含源码】有史以来第一个赢得WMT的多语言模型
相信大家在阅读paper时都会或多或少的用到Google、百度、有道等翻译软件,你可能会发现近几年的翻译准确率变高了。其实这都得益于深度学习在机器翻译这一领域快速的发展和应用。在机器翻译(MT)研究领域中,构建一个通用的翻译系统来帮助每个人更好的获取信息和交流是其研究的终极目标。 但是目前MT领域研究首先要做的是解决基本的问题,才能使未来成为现实。
ShuYini
2021/11/26
6480
多语言DPR:知识蒸馏+Soft Prompt解码
cross-lingual language models (XLMs)来自Facebook提出的将语言模型拓展为多语言的方法,详情可以见:XLM解读[1] 或原文 Cross-lingual Language Model Pretraining[2].
NewBeeNLP
2023/12/13
3920
多语言DPR:知识蒸馏+Soft Prompt解码
干货 | 揭开多语言词嵌入模型的神秘面纱
AI 科技评论按:如今 Facebook 有超过一半的用户使用英语以外的语言,使用了超过 100 种语言。这也给 Facebook 提出了一个巨大的挑战,针对 Facebook 这种服务规模下,使用机器学习和自然语言处理方法(NLP),为每个人提供紧密贴合他们常用语言的良好用户体验。为了更好地服务于 Facebook 社区,无论是通过提供多语言的类似 Recommendations 和 M Suggestion 这样的服务,还是训练系统来检测和删除违规内容的,都需要一种更好的方法来将自然语言处理方法(NLP)拓展到更多语言上去。
AI科技评论
2018/07/27
7530
干货 | 揭开多语言词嵌入模型的神秘面纱
推荐阅读
不以英语为中心,百种语言互译,FB开源首个单一多语言MT模型
4860
7 Papers & Radios | 全球最大人脸数据集;类Transformer模型跨界视觉任务新SOTA
3040
150亿参数大杀器!Facebook开源机器翻译新模型,同传人员或失业
1.3K0
浅析大规模多语种通用神经机器翻译方法
9490
无需依赖英语中介,FB发布可翻译100种语言的AI模型
1.1K0
并非里程碑! Facebook的100种语言互译模型夸大宣传遭质疑
4340
首次赢得WMT机器翻译大赛,Meta证明单个多语言模型强于双语模型
6030
ICLR 2022 | 字节提出:switch-GLAT,多语言非自回归机器翻译模型
8670
સુપ્રભાત!懂「印度方言」的多语言机翻模型挑战0资源翻译,论文已被ACL2021接收
5650
机器翻译新时代:Facebook 开源无监督机器翻译模型和大规模训练语料
3.1K0
一个模型翻译103 种语言!谷歌500亿参数M4模型突破多语言神经翻译极限
1.2K0
XLM-RoBERTa: 一种多语言预训练模型
3.1K0
谷歌最强NLP模型BERT官方中文版来了!多语言模型支持100种语言
4.4K0
7 Papers & Radios | 微软亚研升级版Swin Transformer;字节跳动iBOT刷新多项SOTA
3880
SOTA又换庄家!谷歌130亿参数多语言模型mT5重磅来袭,101种语言轻松迁移
1K0
EMNLP 2021 | 百度:多语言预训练模型ERNIE-M
1.2K0
论文领读|面向机器翻译的多语言预训练技术哪家强?最新进展一睹为快!
7970
【Facebook AI && 含源码】有史以来第一个赢得WMT的多语言模型
6480
多语言DPR:知识蒸馏+Soft Prompt解码
3920
干货 | 揭开多语言词嵌入模型的神秘面纱
7530
相关推荐
不以英语为中心,百种语言互译,FB开源首个单一多语言MT模型
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档