Transformers 4.37 中文文档（七十七）

ApacheCN_飞龙

发布于 2024-06-26 17:32:58

790

发布于 2024-06-26 17:32:58

文章被收录于专栏：信数据得永生信数据得永生

原文：huggingface.co/docs/transformers

SeamlessM4T-v2

原文链接：huggingface.co/docs/transformers/v4.37.2/en/model_doc/seamless_m4t_v2

概述

SeamlessM4T-v2 模型是由 Meta AI 的 Seamless Communication 团队在Seamless: Multilingual Expressive and Streaming Speech Translation中提出的。

SeamlessM4T-v2 是一系列旨在提供高质量翻译的模型，使来自不同语言社区的人们能够通过语音和文本轻松交流。这是对先前版本的改进。有关 v1 和 v2 之间的差异的更多详细信息，请参阅与 SeamlessM4T-v1 的差异部分。

SeamlessM4T-v2 实现多个任务，无需依赖单独的模型：

语音到语音翻译（S2ST）
语音到文本翻译（S2TT）
文本到语音翻译（T2ST）
文本到文本翻译（T2TT）
自动语音识别（ASR）

SeamlessM4Tv2Model 可以执行上述所有任务，但每个任务也有自己专用的子模型。

论文摘要如下：

自动语音翻译的最新进展已经大大扩展了语言覆盖范围，改进了多模态功能，并实现了广泛的任务和功能。尽管如此，今天的大规模自动语音翻译系统缺乏与人与人对话相比帮助机器中介通信感觉无缝的关键功能。在这项工作中，我们介绍了一系列模型，这些模型能够以流式方式实现端到端的表达和多语言翻译。首先，我们贡献了一个改进版本的大规模多语言和多模态 SeamlessM4T 模型—SeamlessM4T v2。这个更新的模型采用了更新的 UnitY2 框架，训练了更多的低资源语言数据。扩展版本的 SeamlessAlign 增加了 114,800 小时的自动对齐数据，涵盖了 76 种语言。SeamlessM4T v2 为我们的两个最新模型 SeamlessExpressive 和 SeamlessStreaming 提供了基础。SeamlessExpressive 实现了保留语音风格和韵律的翻译。与以往在表达性语音研究中的努力相比，我们的工作解决了一些未充分探索的韵律方面，如语速和停顿，同时也保留了个人声音的风格。至于 SeamlessStreaming，我们的模型利用了高效单调多头注意力（EMMA）机制，生成低延迟的目标翻译，无需等待完整的源话语。作为首创，SeamlessStreaming 实现了多源和目标语言的同时语音到语音/文本翻译。为了了解这些模型的性能，我们结合了新颖和修改过的现有自动度量标准的版本，以评估韵律、延迟和稳健性。对于人类评估，我们改编了现有的旨在衡量保留意义、自然性和表现力最相关属性的协议。为了确保我们的模型可以安全和负责任地使用，我们实施了已知的第一个多模态机器翻译红队行动，一个用于检测和减轻添加毒性的系统，一个系统性评估性别偏见，以及一个设计用于减轻深度伪造影响的不可听见的本地化水印机制。因此，我们将 SeamlessExpressive 和 SeamlessStreaming 的主要组件结合起来，形成了 Seamless，这是第一个公开可用的系统，可以实时解锁具有表现力的跨语言交流。总的来说，Seamless 为我们提供了将通用语音翻译器从科幻概念变成现实技术所需的技术基础的关键视角。最后，这项工作中的贡献，包括模型、代码和水印检测器，已经公开发布并可在下面的链接中访问。

用法

在以下示例中，我们将加载一个阿拉伯语音样本和一个英文文本样本，并将它们转换为俄语语音和法语文本。

首先，加载处理器和模型的检查点：

>>> from transformers import AutoProcessor, SeamlessM4Tv2Model

>>> processor = AutoProcessor.from_pretrained("facebook/seamless-m4t-v2-large")
>>> model = SeamlessM4Tv2Model.from_pretrained("facebook/seamless-m4t-v2-large")

您可以无缝地在文本或音频上使用这个模型，生成翻译文本或翻译音频。

以下是如何使用处理器处理文本和音频的方法：

>>> # let's load an audio sample from an Arabic speech corpus
>>> from datasets import load_dataset
>>> dataset = load_dataset("arabic_speech_corpus", split="test", streaming=True)
>>> audio_sample = next(iter(dataset))["audio"]

>>> # now, process it
>>> audio_inputs = processor(audios=audio_sample["array"], return_tensors="pt")

>>> # now, process some English text as well
>>> text_inputs = processor(text = "Hello, my dog is cute", src_lang="eng", return_tensors="pt")

语音

SeamlessM4Tv2Model 可以无缝地生成文本或语音，几乎没有或没有任何变化。让我们以俄语语音翻译为目标：

>>> audio_array_from_text = model.generate(**text_inputs, tgt_lang="rus")[0].cpu().numpy().squeeze()
>>> audio_array_from_audio = model.generate(**audio_inputs, tgt_lang="rus")[0].cpu().numpy().squeeze()

使用基本相同的代码，我已经将英文文本和阿拉伯语音翻译成了俄语语音样本。

文本

同样，您可以使用相同的模型从音频文件或文本生成翻译文本。您只需要将generate_speech=False传递给 SeamlessM4Tv2Model.generate()。这次，让我们翻译成法语。

>>> # from audio
>>> output_tokens = model.generate(**audio_inputs, tgt_lang="fra", generate_speech=False)
>>> translated_text_from_audio = processor.decode(output_tokens[0].tolist()[0], skip_special_tokens=True)

>>> # from text
>>> output_tokens = model.generate(**text_inputs, tgt_lang="fra", generate_speech=False)
>>> translated_text_from_text = processor.decode(output_tokens[0].tolist()[0], skip_special_tokens=True)

提示

1. 使用专用模型

SeamlessM4Tv2Model 是 transformers 的顶级模型，用于生成语音和文本，但您也可以使用专用模型执行任务而不需要额外组件，从而减少内存占用。例如，您可以用专门用于 S2ST 任务的模型替换音频到音频生成片段，其余代码完全相同：

>>> from transformers import SeamlessM4Tv2ForSpeechToSpeech
>>> model = SeamlessM4Tv2ForSpeechToSpeech.from_pretrained("facebook/seamless-m4t-v2-large")

或者您可以用专门用于 T2TT 任务的模型替换文本到文本生成片段，只需删除generate_speech=False。

>>> from transformers import SeamlessM4Tv2ForTextToText
>>> model = SeamlessM4Tv2ForTextToText.from_pretrained("facebook/seamless-m4t-v2-large")

随时尝试 SeamlessM4Tv2ForSpeechToText 和 SeamlessM4Tv2ForTextToSpeech。

更改说话者身份

您可以使用speaker_id参数更改用于语音合成的说话者。一些speaker_id对某些语言效果更好！

更改生成策略

您可以为文本生成使用不同的生成策略，例如.generate(input_ids=input_ids, text_num_beams=4, text_do_sample=True)，它将在文本模型上执行多项式波束搜索解码。请注意，语音生成只支持贪婪 - 默认情况下 - 或多项式采样，可以使用例如.generate(..., speech_do_sample=True, speech_temperature=0.6)。

生成语音和文本同时进行

使用return_intermediate_token_ids=True与 SeamlessM4Tv2Model 来返回语音和文本！

模型架构

SeamlessM4T-v2 具有一个多功能的架构，可以平稳处理文本和语音的顺序生成。这个设置包括两个序列到序列（seq2seq）模型。第一个模型将输入模态转换为翻译文本，而第二个模型从翻译文本生成语音单元标记，称为“单元标记”。

每种模态都有自己独特的架构的专用编码器。此外，对于语音输出，一个受HiFi-GAN架构启发的声码器被放置在第二个 seq2seq 模型的顶部。

与 SeamlessM4T-v1 的不同之处

这个新版本的架构在几个方面与第一个版本不同：

第二次模型的改进

第二个 seq2seq 模型，称为文本到单元模型，现在是非自回归的，这意味着它在单次前向传递中计算单元。这一成就得以实现是因为：

使用字符级嵌入，这意味着预测的翻译文本的每个字符都有自己的嵌入，然后用于预测单元标记。
使用中间持续预测器，在预测的翻译文本上以字符级预测语音持续时间。
使用一个新的文本到单元解码器，混合卷积和自注意力来处理更长的上下文。

语音编码器的不同之处

在第一次生成过程中用于预测翻译文本的语音编码器，主要通过以下机制与以前的语音编码器不同：

使用分块注意力掩码来防止跨块的注意力，确保每个位置只关注其自己块内的位置和固定数量的先前块。
使用相对位置嵌入，它只考虑序列元素之间的距离，而不是绝对位置。更多细节请参考Self-Attentionwith Relative Position Representations (Shaw et al.)。
使用因果深度卷积而不是非因果卷积。

生成过程

生成过程如下：

输入文本或语音通过其特定编码器处理。
解码器以所需语言创建文本标记。
如果需要生成语音，第二个 seq2seq 模型以非自回归方式生成单元标记。
然后，这些单元标记通过最终的声码器传递，以产生实际的语音。

此模型由ylacombe贡献。原始代码可以在这里找到。