新型图像与视频生成模型技术详解

新型图像与视频生成模型

两个新模型使用扩散Transformer技术来生成工作室质量的视觉内容。

在昨日举行的某中心年度re:Invent大会上，首席执行官宣布推出Nova系列模型，这是新一代最先进的、提供前沿智能和行业领先性价比的基础模型。Nova系列模型包括为满足不同延迟、成本和精度需求而设计的三种不同规格的理解模型。同时，也宣布了两个新的创意内容生成模型，能够根据输入的文本提示和图像生成工作室质量的图像和视频。

模型功能概览

一个模型能够实现广泛的实用功能，包括：

• 文生图：输入文本提示，生成新图像。
• 图像编辑：包括修复（添加视觉元素）、扩展修复（移除视觉元素）、通过文本提示自动编辑以及背景移除。
• 图像变体：输入一到五张图像和一个可选的文本提示，模型会生成一张保留输入图像内容但改变其风格和背景的新图像。
• 图像条件生成：输入参考图像和文本提示，模型生成的图像在布局和构图上遵循参考图像，但在内容上遵循文本提示。
• 色彩引导内容生成：提供一个包含一到十个十六进制颜色代码的列表以及文本提示，生成的图像将融合规定的调色板。

另一个模型支持两个功能：（1）文本生成视频；（2）文本和图像生成视频。通过这两个功能，生成的视频分辨率为1280 x 720，每秒24帧，持续时间为6秒。

模型架构

两个模型都是具有Transformer骨干网络的潜在扩散模型，即扩散Transformer。扩散模型经过训练，能够迭代地去噪一个被逐步添加更多噪声的样本，而潜在扩散模型则是在表示空间中进行去噪。

主要组件包括：

• 一个变分自编码器，将原始像素映射为视觉标记，反之亦然。VAE经过训练，输出与其接收的输入相同的数据，但中间有一个瓶颈，迫使它们产生低维的潜在表示。
• 一个文本编码器。
• 一个基于Transformer的去噪网络。

从文本输入生成图像/视频的推理过程如下：

1. 文本编码器将输入文本转换为一系列文本标记。
2. 以文本标记为引导，去噪网络迭代地从一组随机初始化的视觉标记中去除噪声，得到无噪声的视觉标记。
3. VAE解码器将无噪声的视觉标记转换为彩色图像/视频帧。

在训练期间，从训练数据集中采样图像-文本或视频-文本对，扩散Transformer学习将视觉信号与其配对的文本描述关联起来。这使得模型在推理时能够使用自然语言来指导视觉信号的合成。

具体来说，在训练过程中，VAE编码器将输入的视觉信号映射为视觉标记，文本编码器将提示转换为文本标记。根据预定义的噪声调度器，在不同的采样时间步向视觉标记人工添加噪声。然后，以文本标记为条件，训练去噪网络来预测每个时间步注入视觉标记的噪声量。

训练与优化

训练

两个模型的训练过程都分为两个阶段：预训练和微调。预训练建立一个在通用任务上表现出高性能的基础模型，微调则进一步提高了模型在视觉质量、图文和视频-文本对齐方面的性能，尤其是在高兴趣领域。

推理

运行时优化对两个模型都至关重要，因为大型扩散Transformer的迭代推理过程对计算资源有很高的要求。采用了多种技术来提高推理效率，包括提前编译、多GPU推理、模型蒸馏以及一种更高效的采样策略，该策略仅在必要时密集采样解轨迹。这些优化技术经过审慎选择并根据每个模型的具体要求进行调整，从而实现更快、更高效的推理。