BLEU（Bilingual Evaluation Understudy），相信大家对这个评价指标的概念已经很熟悉，随便百度谷歌就有相关介绍。原论文为BLEU: a Method for Automatic Evaluation of Machine Translation，IBM出品。
BLEU，全称为Bilingual Evaluation Understudy（双语评估替换），是一个比较候选文本翻译与其他一个或多个参考翻译的评价分数。
本文介绍机器翻译领域针对质量自动评测的方法-BLEU，让你理解为什么BLEU能够作为翻译质量评估的一种指标，它的原理是什么，怎么使用的，它能解决什么问题，它不能解决什么问题。 什么是BLEU？ BLEU (Bilingual Evaluation Understudy) is an algorithm for evaluating the quality of text which has been machine-translated from one natural language to anothe
本博客是对文本摘要的简单介绍，可以作为当前该领域的实践总结。它描述了我们（一个RaRe 孵化计划中由三名学生组成的团队）是如何在该领域中对现有算法和Python工具进行了实验。
💥通常，大语言模型 (LLM) 是指包含数千亿 (或更多) 参数的语言模型(目前定义参数量超过10B的模型为大语言模型)，这些参数是在大量文本数据上训练的，例如模型 GPT-3、ChatGPT、PaLM、BLOOM和 LLaMA等.
PyTorch-NLP 是用于自然语言处理的开源 Python 库，它构建于最新的研究之上，可以帮助开发者快速开发原型。PyTorch 带有预训练嵌入（pre-trained embeddings）、采样器、数据集加载器、神经网络模型和文本编码器。
PyTorch-NLP，简称 torchnlp，是一个神经网络层、文本处理模块和数据集库，旨在加速自然语言处理的研究。
选自arXiv 作者：Felix Hieber等 机器之心编译 参与：黄小天、李亚洲、刘晓坤 今年 7 月份，作为 MXNet 的支持者，亚马逊开源了自己的 NMT 框架 Sockeye。近日，亚马逊在 arXiv 放出了介绍 Sockeye 的论文，让我们能更细致的了解该开源工具的技术细节。机器之心对此论文做了摘要介绍，更多详细内容请查看原论文。 过去两年深度学习革命为机器翻译带来了快速而巨大的变化。相较于基于短语的传统系统，基于神经网络的新模型可以持续地为用户提供更高质量的翻译。神经机器翻译（NMT）同
最近，有一篇论文提出了一种基于语法的结构化CNN代码生成器，用《炉石传说》（HearthStone）基准数据集进行实验的结果表明：
https://github.com/UB-Mannheim/tesseract/wiki
这是一个用 PyTorch 实现的 OpenNMT 的库，OpenNMT 是一个神经机器翻译系统。
随着对话系统和推荐系统的快速发展，新方向——对话推荐系统（Conversational Recommender System，简称CRS）也开始了蓬勃发展，其关注于如何通过基于自然语言的对话来获得用户的意图和偏好，以实现精准推荐。但是现有的CRS相关数据集和模型在建模场景、最终目标和使用技术等方面存在一定差异，使得研究者们很难对这些模型进行统一的评测对比。对于科研新手来说，更是难以在这些模型和数据集中抉择并快速搭建CRS系统。
故事起源于工作的一个实际问题，要分析两个文本序列间的相似性，然后就想着干脆把一些常见的字符串相似性内容一并整理一下好了。
这么多环节，任何地方出一点问题，都会拉长开发周期。因此，不少公司，比如Airbnb已经开始用机器学习来提高这个过程的效率。
选自InsightDataScience 作者：Ashwin Kumar 机器之心编译 参与：乾树、李泽南 在人们的不断探索下，「使用人工智能自动生成网页」的方法已经变得越来越接近实用化了。本文介绍的这种名为 SketchCode 的卷积神经网络能够把网站图形用户界面的设计草图直接转译成代码行，为前端开发者们分担部分设计流程。目前，该模型在训练后的 BLEU 得分已达 0.76。 你可以在 GitHub 上找到这个项目的代码：https://github.com/ashnkumar/sketch-code
你可以在 GitHub 上找到这个项目的代码：https://github.com/ashnkumar/sketch-code
从旧式编程语言（例如COBOL）到现代语言（例如Java或C ++）的代码库迁移是一项艰巨的任务，需要源语言和目标语言方面的专业知识。
表示 n 元词组这一项的 BLEU 得分，为了使用一个数值来评价一个机器翻译系统，需要将
选自Machine Learning Mastery 作者：Jason Brownlee 机器之心编译 参与：路雪、蒋思源 本文从数据预处理开始详细地描述了如何使用 VGG 和循环神经网络构建图像描述系统，对读者使用 Keras 和 TensorFlow 理解与实现自动图像描述很有帮助。本文的代码都有解释，非常适合图像描述任务的入门读者详细了解这一过程。 图像描述是一个有挑战性的人工智能问题，涉及为给定图像生成文本描述。字幕生成是一个有挑战性的人工智能问题，涉及为给定图像生成文本描述。 一般图像描述或字幕生
语言模型（Language Model，简称 LM）是一个用于建模自然语言（即人们日常使用的语言）的概率模型。简单来说，语言模型的任务是评估一个给定的词序列（即一个句子）在真实世界中出现的概率。这种模型在自然语言处理（NLP）的诸多应用中，如机器翻译、语音识别、文本生成等，都起到了关键性的作用。
大模型的成功很大程度上要归因于 Scaling Law 的存在，这一定律量化了模型性能与训练数据规模、模型架构等设计要素之间的关系，为模型开发、资源分配和选择合适的训练数据提供了宝贵的指导。
我经常被 NLP 领域的入门者问到的一个问题就是，当系统输出文本而不是对输入文本的一些分类时，该如何去评价这些系统。在模型中输入文本然后模型输出其它文本的这类问题，就是我们都知道的序列到序列（sequence to sequence）或者字符串转导（string transduction）问题。
将早期的编程语言（例如COBOL）的代码库迁移到现在的编程语言（例如Java或C++）是一项艰巨的任务，它需要源语言和目标语言方面的专业知识。COBOL如今仍在全球大型的系统中广泛使用，因此公司，政府和其他组织通常必须选择是手动翻译其代码库还是尽力维护使用这个可追溯到1950年代的程序代码。
每天给你送来NLP技术干货！ ---- 转自 | 新智元 编辑 | 好困 清华&字节联合提出的DA-Transformer摆脱了传统并行模型依赖知识蒸馏的问题，在翻译任务中大幅超越了之前所有并行生成模型，最高提升 4.57 BLEU。同时也首次达到、甚至超越了自回归 Transformer 的性能，在最高提升 0.6 BLEU 的同时，能够降低7倍的解码延迟。｜还在纠结会不会错过元宇宙和web3浪潮？清华大学科学史系副教授胡翌霖，这次给你讲个透！ 并行文本生成模型（非自回归模型）是一种新的文本生成范
强烈推荐一个项目：Chinese NLP ，这是由滴滴人工智能实验室所属的自然语言处理团队创建并维护的，该项目非常细致的整理了中文自然语言处理相关任务、数据集及当前最佳结果，相当完备。
机器之心报道 机器之心编辑部 你不能这样对比啊。 今年 7 月初，Meta AI 发布了一个新的翻译模型，名为 No Language Left behind (NLLB)，我们可以将其直译为「一个语言都不能少」。 顾名思义，NLLB 可以支持 200 + 语言之间任意互译，Meta AI 还把它开源了。平时你都没见到的语言如卢干达语、乌尔都语等它都能翻译。 论文地址：https://research.facebook.com/publications/no-language-left-behind/ 开
AI科技评论按：今年5月，FacebookAI研究院（FAIR）发表了他们的研究成果fairseq，在fairseq中，他们使用了一种新型的卷积神经网络来做语言翻译，比循环神经网络的速度快了9倍，而且准确性也是现有模型中最高的。此外，他们在GitHub公布了fair序列建模工具包的源代码和训练好的系统，其他的研究者可以在此基础上建立自己的关于翻译、文本总结和其他任务的模型。 详情可参见：快9倍！Facebook开源机器学习翻译项目fairseq 一文。 日前，FacebookAI研究团队又在GitHub上开
刚接触 NLP 时常有个疑问，就是如何评估这样一个系统——其输出为文本，而非对输入分类。当把一些文本输入系统，得到的输出也为文本时，这类问题称为 seq2seq 或字符串转导（string transduction）问题。
【新智元导读】FAIR的开源序列到序列（sequence-to-sequence）引擎现在可以在PyTorch使用了。FAIR今天发布了fairseq-py，这是一个用PyTorch实现的卷积seq2seq模型。fairseq-py是语言翻译以及其他 seq2seq 的NLP任务的一个很好的模型，新的工具包比以前的更高效率：生成翻译的速度比以前的提高了80%，训练速度提高了50%。 今年5月10日，Facebook AI 研究实验室（FAIR）发布了一项使用创新性的、基于卷积神经网络的方法来进行语言翻译的最
想使用之前写的代码库但忧虑编程语言过时，想重写又嫌麻烦，怎么办？源到源编译器似乎是不错的选择。
关于上面的几个问题，本文将会基于当前Python新兴的大语言模型开发框架promptulate来演示使用如何用两行代码快速构建上手构建一个属于自己的论文总结工具。
安装虚拟环境：为了隔离依赖并防止与其他Python项目冲突，最好为ChatGPT开发创建一个虚拟环境。
今天给大家介绍EMNLP2020的一篇关于多语言翻译新范式的工作multilingual Random Aligned Substitution Pre-training (mRASP)[1]，核心思想就是打造“机器翻译界的BERT”，通过预训练技术再在具体语种上微调即可达到领先的翻译效果，其在32个语种上预训练出的统一模型在47个翻译测试集上取得了全面显著的提升。
有关这部分内容，他又可以分为有监督的和无监督的，前者已经有了一些参考的生成结果可以比对，后者完全没有任何参考文本，只能通过文本本身来评估生成质量。
机器翻译依赖于大型平行语料库，即源语和目的语中成对句子的数据集。但是，双语语料是十分有限的，而单语语料更容易获得。传统上，单语语料被用于训练语言模型，大大提高了统计机器翻译的流畅性。
来源 像seq2seq这样的模型，输入一个序列，输出一个序列，它的评分不像文本分类那样仅仅通过label是否一样来判断算出得分。比如机器翻译，它既要考虑语义，还要考虑语序。所以，在2002年一位国外的大牛（是的，没错基本木有中国人。。）Papineni et.al. 提出了Bleu方法，在Bleu:A method for automatic evaluation of machine translation中。 Bleu维基百科：BLEU (Bilingual Evaluation Understudy)
作者：Gongbo Tang、Mathias Muller、Annette Rios、Rico Sennrich
文本生成目前的一大瓶颈是如何客观，准确的评价机器生成文本的质量。一个好的评价指标（或者设置合理的损失函数）不仅能够高效的指导模型拟合数据分布，还能够客观的让人评估文本生成模型的质量，从而进一步推动text generation 商业化能力。
鉴于数据、计算力、算法等诸多门槛，自神经机器翻译（NMT）产品化以来，在很大程度上便是互联网巨头们的竞技场。 如今，又一个新的挑战者高调加入进来，直接把矛头指向堪称行业技术标杆的谷歌、微软以及 Facebook。 上周，来自德国的 DeepL 翻译上线，号称实现了 NMT 技术的新突破，打造出了“世界上最精确、语言组织最自然的机器翻译系统”；并宣布在自家组织的盲测中，打败了谷歌翻译以及微软与 Facebook 的 NMT 系统，衅意十足。 目前，DeepL 翻译已支持英德法西等 42 门欧洲语言，正在对
导读：机器翻译，能够实现多种语言之间的自动翻译，方便人类的沟通和交流，具有重要的研究和应用价值。Transformer是机器翻译领域的一个经典模型，一经问世，便取得了SOTA效果。本文将带领大家一同探秘Transformer，并送上基于飞桨实现 Transformer的实战教程。
对话系统 人机对话系统分为任务型对话和非任务型对话系统。对于任务型对话系统的评价，一般采用任务完成的程度来进行评估，例如“导购”机器人，主要看用户是否点击“推荐商品”等来评估。非任务型对话系统，一般是闲聊系统，若是多轮对话，一般使用用户与机器之间进行对话的轮数来评估系统优劣。但是若是单轮对话呢，如何评价机器给出回复的好坏？对于给定一句话的回复，不同的人可以给出不同的答案，只要自圆其说即可，如此开放的回复空间，评价回复的好坏实属困难。 而目前并没有什么公认的评价指标可以更好地对对话系统的回复进行评价。很多论文
在牵涉到语句生成尤其是机器翻译的应用领域，如何衡量生成语句与参考语句之间的相似性是一个很重要的问题，而在2002年Kishore Papineni et al.就提出了一个经典的衡量标准Bleu，如今这篇文献已经引用量过万，因此是NLP领域必读文章之一。
今年2月，Facebook发表了论文《Cross-lingual Language Model Pretraining》，这篇论文提出了基于BERT优化的跨语言模型XLM，它刚刚出生就在两项机器翻译任务上取得了巨大进步。
序列模型和注意力机制（Sequence models & Attention mechanism）
在机器学习的背景下，合成泛化（compositional generalization）是指机器学习从一组训练示例学习上下文表示。迄今为止，尚不清楚如何正确地测量神经网络中的compositionality。Google AI研究者在 ICLR 2020 上的论文《Measuring Compositonal Generalization: A Comprehensive Method on Realistic Data[1]》，提出了使用问题解答和语义解析等任务进行compositional generalization的最大基准之一。下图显示了该种新模型，使用原子（prodece，direct等）来产生新化合物（即原子的组合）的示例。这项工作的想法是产生一个训练测试拆分，其中包含共享相似原子（生成示例的构造块）但具有不同化合物分布（原子组成）的示例。作者声称这是测试compositional generalization的一种更可靠的方法。
前段时间，随着 GPT-4o、Sora 的陆续问世，多模态模型在生成式方面取得的成绩无可否认，而人工智能的下一个革命性突破将从何处涌现，引起了大量学者和相关人士的关注。
ChatGPT(Chat Generative Pre-trained Transformer)，是人工智能技术驱动的自然语言处理工具，即AIGC的一款具体的应用和产品。它能够通过理解和学习人类的语言来进行对话，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流，甚至能完成撰写邮件、视频脚本、文案、翻译、代码，写论文等任务。
METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
