新型视频生成模型VideoCrafter-腾讯与香港科技大学联合开发并开源

VideoCrafter 是一款由腾讯和香港科技大学合作推出了一种全新的视频生成模型，可以进行创建和编辑套件，采用了扩散模型，能够从文本描述生成照片和视频。即使没有视频编辑或动画经验的人也可以轻松制作专业品质的视频。

该项目提供了两种开放扩散模型，分别用于文本到视频（T2V）和图像到视频(I2V)任务。T2V模型能够生成具有1024576分辨率的逼真且具有电影质量的视频，在质量方面胜过其他开源T2V模型。而I2V模型则旨在生成与提供的参考图像内容严格一致的视频，保留其内容、结构和风格。这是第一个能够将给定图像转化为视频剪辑并保持内容保存约束的开源I2V基础模型。

这个模型包括视频VAE和3D去噪U-net，经过在庞大的数据集上进行了训练，其性能表现出色，超过了其他开源视频生成模型。

项目地址：https://github.com/AILab-CVC/VideoCrafter

演示地址：https://huggingface.co/spaces/VideoCrafter/VideoCrafter

功能概况：

• • 通用文本到视频的生成
• • 通用图像到视频的生成

下载与安装

下载项目

git clone https://github.com/AILab-CVC/VideoCrafter.git

安装videocrafter及依赖包

conda create -n videocrafter python=3.8.5
conda activate videocrafter
pip install -r requirements.txt

使用步骤

• • 创建视频的书面大纲。
• • 根据自己的喜好设置视频相关参数，包括分辨率和帧速率。
• • 使用“生成”按钮。
• • 输入一些文字，VideoCrafter将为您生成视频。
• • 生成的视频可以在集成编辑器的帮助下进行修改。
• • 在进行调整后，可以将视频保存为多种格式，包括MP4、MOV和AVI。

模型调用

1、通过Hugging Face下载预训练的 T2V 模型，并将其model.ckpt放入checkpoints/base_1024_v1/model.ckpt

2、输入命令

  sh scripts/run_text2video.sh

VideoCrafter的用户友好性使其即使对于从未使用过视频或动画软件的人也可以轻松使用。与商业制作的电影媲美，VideoCrafter的输出质量非常高。无论您想制作解释性视频还是短片，VideoCrafter都能胜任。更重要的是，VideoCrafter是一个免费的开源项目。

写到最后

感谢您的一路陪伴，用代码构建世界，一起探索充满未知且奇妙的魔幻旅程。如果您对Python编程技巧、好玩实用的开源项目、行业新知趣事和各类技术干货等充满兴趣，那么不要错过未来我为大家奉上的精彩内容！点击关注，让您的探索学习之旅更加丰富多彩，我们一同成长，一同前行！🚀💻📚

求一键三连：点赞、转发、在看

● 四款国内外远程桌面软件横测：ToDesk、向日葵、TeamViewer、AnyDesk

● 新一代开源语音库CoQui TTS冲到了GitHub 20.5k Star

● 最新最全 VSCODE 插件推荐（2023版）

● 一款构建AI数字人项目开源了！自动实现音视频同步！

● 「多线程大杀器」Python并发编程利器：ThreadPoolExecutor，让你一次性轻松开启多个线程，秒杀大量任务！

如果本文对您有帮助，也请帮忙点个 赞👍 + 在看 哈！❤️

在看你就赞赞我！