如何使用稳定的扩散来制作 AI GIF 和视频

稳定扩散能够生成的不仅仅是静止图像。使用一些内置工具和特殊扩展程序，您可以毫不费力地获得非常酷的AI视频。以下是使用稳定扩散为动画 GIF 或实际视频文件生成帧的方法。

目录

稳定地扩散可以生成视频吗？

使用“上色”为图像添加动画效果

步骤 1：获取图像及其提示

步骤 2：蒙可以零件以使用 InPaint 进行动画处理

第 3 步：生成帧

第 4 步：批量放大您的框架（可选）

第 5 步：在 GIF 或视频制作器中为帧添加动画效果

使用论坛生成视频

步骤 1：安装论坛扩展

第 2 步：编写提示

第 3 步：调整论坛设置

第 4 步：生成视频

稳定地扩散可以生成视频吗？

虽然人工智能生成的电影仍然是一个新兴领域，但在技术上可以使用稳定扩散制作一些简单的动画，无论是作为 GIF 还是实际的视频文件。不过也有局限性。

由于img2img可以轻松生成特定图像的变体，因此稳定扩散非常适合快速制作一堆动画帧，尤其是循环帧。想象火焰从火中舔舐而起，车轮在汽车上旋转，或者在喷泉中溅起的水。实际用途可能是为一些RPG艺术品提供逼真的氛围：

稳地的扩散

您甚至可以根据真实图像而不是合成图像制作视频。在这里，我拍了一张正在浇水的植物的照片，点击几下，水流就动画了：

乔丹·格洛尔 / 稳定扩散

如果你想对一个对象进行动画处理，使其从A点移动到B点，这对于稳定扩散来说是一个很高的要求（至少目前是这样）。您可能会花费大量时间来调整提示和设置，然后仔细研究大量输出以找到最佳帧并按正确的顺序放置它们。在这一点上，你不妨打破Adobe Illustrator，然后开始手工制作动画。

尽管如此，您可以使用基本的稳定扩散设置和您选择的其他工具制作一些很酷的简单动画，用于将帧拼接成动画。还有一个名为Deforum的项目，它使用稳定扩散来创建看起来非常有趣的“变形”动画。它会吐出一个MP4视频，所以不需要外部工具，它甚至允许你添加音频。我们将向您展示这两种方法的基础知识。

注意：出于本文的目的，我们假设您已经安装了稳定扩散的图形界面，特别是 AUTOMATIC1111 的稳定扩散 Web UI。与标准的命令行安装相比，它使生成图像变得更加容易，并带有大量方便的工具和附加功能。

使用“上色”为图像添加动画效果

使用 img2img 工具 Inpaint，您可以突出显示要制作动画的图像部分并生成它的多个变体。然后，您将将它们放入 GIF 或视频制作器中并将帧另存为动画。

步骤 1：获取图像及其提示

首先将要制作动画的图像拖放到 img2img 工具的“Inpaint ”选项卡中。如果您还没有生成一个，请花一些时间编写一个好的提示，以便获得一张好的入门照片。您还可以导入自己拍摄或绘制的图像。

如果您要导入不是使用稳定扩散生成的图像，您仍然需要适当地提示来生成变体，因此请单击Img2Img页面顶部的“询问剪辑”。这将根据稳定扩散认为您的图像包含的内容生成一个启动提示。通过添加任何其他重要详细信息来完成提示。

对于我们的指南，我们生成了一个512×512的夜空下机器人图像，我们希望提供一个延时动画，流星和星系经过。

稳定地扩散

如果你想精确地遵循，你可以使用我们使用的提示重新创建它：

这些是我们使用的设置：

检查站：稳定扩散2.0

采样方法：DPM++ SDE

采样步骤：20

CFG 比例： 5

种子：4177542269

步骤 2：蒙版零件以使用 InPaint 进行动画处理

在图像和提示就位后，在 Inpaint 工具中，使用画笔遮罩（遮盖）要进行动画处理的图像的每个部分。不要遮盖任何你想要的静态的东西。

在我们的示例中，我们覆盖了大部分天空。我们在机器人周围留了一点缓冲，因为在我们的测试中，如果我们靠得太近，稳定扩散有时会给机器人添加天线和其他附属物。

提示：您可以使用滑块调整 Inpaint 画笔大小，方法是单击画布右上角的画笔按钮。

第 3 步：生成帧

现在，您已经屏蔽了图像中想要移动的每个部分，是时候生成动画的帧了。但首先，您需要确保img2img具有正确的设置。它们可能会令人困惑，因此我们将解释其中一些的含义以及您可能想要或可能不想调整它们的原因：

蒙版模式：上漆蒙版 – 这可确保覆盖的所有内容都得到更改，而不是相反。如果出于某种原因，您想要修改未蒙版的零件，请将其更改为“未蒙版的上漆”。

蒙版内容：原始 – 这可确保稳定扩散在生成变体时看到并考虑现有图像。否则，它会将屏蔽的内容视为空白或随机画布。

上漆区域：整个图像 – 这迫使稳定扩散在将其与原始图像集成之前为每一帧生成全新的图像。切换到“仅屏蔽”可能会加快生成速度，但也可能会给您带来更糟糕的结果。

采样方法：DPM++ SDE – 这与我们用于生成原始图像的采样方法相同，我们坚持使用它以确保一致的外观。如果您不知道该使用什么，“欧拉a”是一个全方位的好选择。

批次计数：60 – 这是您要生成的图像数量。您可能需要更多或更少，具体取决于您希望动画序列的速度和长度。

CFG 量表：5 – 从某种意义上说，CFG 量表决定了稳定扩散有多少创作自由。数字越大，稳定扩散将尝试遵循您的提示。增加它并获得良好的结果需要有一个非常好的提示。

降噪强度：0.3 – 可能是该项目最重要的设置，降噪比例决定了稳定扩散将改变原始图像的程度。您可能希望将其保持在 0.2 或 0.3 左右，因为过多的帧间更改会破坏动画。

种子：-1 – 这告诉稳定扩散从随机种子开始。我们不建议重复使用原始图像中的种子，因为这会减少您将获得的变化量（如果有的话）。

完成所有设置后，单击“生成”并坐下来，让稳定扩散为您绘制动画帧。您可以在稳定扩散目录的文件夹中找到它们。如果您不喜欢结果，请调整设置（可能从降噪强度和采样步骤开始），然后重试。/outputs/img2img-images

第 4 步：批量放大您的框架（可选）

如果您打算创建高清视频，请记住将所有新生成的帧放大到所需的分辨率。单击“发送到附加内容”以开始使用。

在“附加功能”中，切换到“批处理”选项卡。

将“调整大小”比例调整为您希望调整大小的次数（设置为 2 会将 512×512 图像更改为 1024×1024 图像）。或者，从“缩放”切换到“缩放到”并设置特定分辨率。同时将“升频器1”设置为您选择的升频器。我们使用R-ESRGAN 4x+获得了足够好的结果，但请随意尝试，看看哪种图像最能处理您的图像。

然后点击“生成”，稳定扩散将为您提供每帧的更高分辨率版本，保存在您的文件夹中。/outputs/extras

第 5 步：在 GIF 或视频制作器中为帧添加动画效果

现在您已经有了帧，是时候将它们拼接在一起并创建最终动画了。您可以使用许多工具执行此操作，包括免费的专用网站，例如 Ezgif 和 flixier，它们易于使用并具有许多微调控件。但是，请记住，这些网站可以看到您上传的所有内容，因此不要向他们提供您对世界了解的任何内容。

虽然这些网站不言自明，但我们将演示如何使用免费的离线照片编辑工具 GIMP制作 GIF。如果您想要一个视频文件，请使用 Kdenlive 或类似的视频编辑器 - 只需确保调整设置，以便将所有帧导入为一秒或更短的剪辑，具体取决于您想要的每秒帧数。

首先，下载 GIMP 并将其安装在您的计算机上（如果尚未安装）。启动它，然后转到 文件 > 作为图层打开。

找到您生成的帧的位置，并在单击“打开”之前一次选择所有帧。（按住 转移 键可快速选择多个文件。GIMP 会将所有图像作为单独的图层导入到一个画布上。我们之所以想要这样做，是因为 GIMP 的 GIF 生成方式是从下到上遍历每一层，将每个连续的图层视为动画中的下一帧。

现在是有趣的部分。要观看 GIF 的预览，请转到滤镜>动画>播放。

按空格键播放和暂停 GIF。如果帧过快或过慢，请调整播放对话框底部的 FPS，然后单击顶部的刷新按钮以新的帧速率重新加载预览。

一旦动画对您来说看起来不错，就该生成 GIF 文件了。关闭预览，然后单击文件>导出为。当您键入文件保存名称时，将扩展名添加到末尾，以便 GIMP 知道您想要一个 GIF。.gif

在出现的 GIF 导出对话框中，确保选中“作为动画”框。如果需要不同的帧速率，也可以调整帧之间的毫秒数。一秒有 1000 毫秒，所以 100 会让你在 10 FPS 左右。最后，单击“导出”。

繁荣，你已经有了完整的动画 GIF。

使用论坛生成视频

如果您想使用稳定扩散创建更有趣的动画，并让它输出视频文件，而不仅仅是一堆帧供您使用，请使用 Deforum。这是一个图像合成项目，具有可用于稳定扩散 Web UI 的扩展，可让您直接和生成 MP4 视频文件，甚至带有音频。这是一个非常强大和复杂的工具，有很多设置可供试验，包括相机平移和缩放、多个提示和视频导入。

出于我们的目的，我们将向您介绍生成相当简单但有趣的动画的基础知识。

步骤 1：安装论坛扩展

要获取 Deforum 扩展，请打开命令提示符并将目录更改为您的文件夹。然后使用此 git clone 命令在您的扩展文件夹中安装 Deforum。stable-diffusion-web-ui

git clone https://github.com/deforum-art/deforum-for-automatic1111-webui extensions/deforum

正常启动稳定扩散 Web UI，然后打开现在在您的界面中的 Deforum 选项卡。

提示：Deforum扩展程序具有默认值，因此您可以立即点击“生成”按钮来创建兔子变成猫的视频，然后是椰子，然后是榴莲。很酷！

第 2 步：编写提示

您可能习惯于使用稳定扩散编写单个提示，但 Deforum 允许您编写多个“计划”提示，这意味着在动画中的任何时间点，它都会切换到根据计划中下一个提示生成帧。

单击“提示”选项卡，然后将现有提示更改为所需的任何提示，同时保持括号和选项卡结构。对于我们的示例，我们将使用这组提示：

{ "0": "a robot stands under the night sky during a meteor shower, shooting stars, galaxies, the cosmos, milky way, ultra realistic, highly detailed, 4k uhd", "40": "a space station flies through space during a meteor shower, ultra realistic, highly detailed", "80": "a supernova explodes, vibrant colors, ultra realistic, highly detailed" }

那么这些数字意味着什么呢？默认情况下，Deforum会为您的动画生成120帧，我们将这组帧分为三个部分。 表示第一帧，因此它和它之后的所有帧将是第一个提示符的 im2img 变体。然后在第 40 帧，稳定扩散将开始根据我们的第二个提示进行更改。在 80 时，它切换到第三个。您可以根据需要添加任意数量的提示更改，并根据需要调整关键帧选项卡上的最大帧限制。0

第 3 步：调整论坛设置

您可能已经注意到 Deforum 中涉及大量设置，但我们将通过一些设置来帮助您入门。首先，在“运行”选项卡中，您将找到许多典型的稳定扩散设置。重命名批次，输入要开始的种子（我们正在为机器人重复使用该种子），然后将采样器更改为所需的采样器。

在“关键帧”选项卡中，您可以调整动画的“摄像机”运动。默认情况下，它设置为按间隔缩放，但我们希望添加垂直“平移”移动，因此我们将添加到“平移 Y”框架。这告诉 Deforum 将第一帧视为在 Y 轴上的像素 -2，然后在第 100 帧移动到像素 4。随着动画的进行，这将给我们一个轻微的向上平移。0:(-2), 100:(4)

在“输出”选项卡中，我们将选中“制作GIF”框，除了MPEG视频文件外，它还将为我们提供GIF文件。您也可以在此处使用“添加配乐”和“配乐路径”设置添加音频（如果有的话）。

第 4 步：生成视频

最后，点击那个大的“生成”按钮。由于Deforum正在创建和拼接许多框架，这需要时间，所以在等待时喝点咖啡。完成后，您将找到 MPEG 文件、GIF 版本，以及每个单独的帧和您在目录中批处理名称下使用的设置的读数。/outputs/img2img-images

以下是我们的提示：

这不是夏季大片，但它仍然令人着迷！查看官方 Deforum 快速入门指南，了解您可以调整的所有其他旋钮和拨盘。

如果您正在寻找其他很酷的 AI 项目，请了解如何使用稳定扩散生成 Minecraft 纹理包或开始使用 ChatGPT，以及您可以使用 ChatGPT 做的令人惊讶的事情。