仅开源上线4天就飙升了1.4k star的图像视频生成模型-StoryDiffusion

大家好，我是xq👨🏻‍💻。今天给大家介绍一款既能保持角色一致又可生成多图漫画和长视频的AI工具，它就是StoryDiffusion。

项目介绍

StoryDiffusion 是一个强大的图像和视频生成模型，通过一致自注意力机制和运动预测器，能够生成连贯的长序列图像和视频。

主要优点：

能够生成具有角色一致性的图像，并且可以扩展到视频生成，为用户提供了一个创造长视频的新方法。

它可热插拔，并兼容所有基于 SD1.5 和 SDXL 的图像扩散模型。对于当前的实现，用户需要为一致的自注意力模块提供至少3个文本提示。

目前该项目上线不到5天，Github上已有1.4k标星，可见该模型打破了短视频生成限制，为长视频生成提供了新的途径。

GitHub: https://github.com/HVision-NKU/StoryDiffusion

特色功能：

• • 一致自注意力机制：确保生成的长序列中角色图像的一致性。
• • 运动预测器：在压缩的图像语义空间中精准预测运动。
• • 漫画生成：利用机制生成流畅的漫画风格图像和视频。
• • 图像到视频的生成：根据用户输入条件生成精彩视频。
• • 两阶段长视频生成：创造高质量的长 AIGC 视频。

模型使用

使用 StoryDiffusion 非常简单。用户只需提供相关的输入条件图像或文本提示，即可生成漫画风格的图像序列或视频。

通过调整参数和输入内容，用户可以创造出各种不同风格和主题的作品。

官方提供了抱脸项目可进行体验使用。

HuggingFace : https://huggingface.co/spaces/YupengZhou/StoryDiffusion

选择好相应的sd类型、模型类型、文本描述、负面描述、风格类型、绘画描述及相应的参数设置，点击Generate即可快速生成。

应用场景

• • 设计师可快速生成各种风格的概念图。
• • 视频制作者能获取初步草图，节省时间和精力。
• • 研究人员用于 AI 图像和视频生成的研究与实验。
• • 爱好者可尽情发挥创意，体验 AI 艺术创作的乐趣。

总结

StoryDiffusion 为图像和视频生成领域带来了新的活力和创新。有兴趣的小伙伴不妨尝试体验一番。

写到最后

感谢您的一路陪伴，用代码构建世界，一起探索充满未知且奇妙的魔幻旅程。如果您对Python编程技巧、好玩实用的开源项目、行业新知趣事和各类技术干货等充满兴趣，那么不要错过未来我为大家奉上的精彩内容！点击关注，让您的探索学习之旅更加丰富多彩，我们一同成长，一同前行！🚀💻📚

求一键三连：点赞、转发、在看

↓推荐关注↓

公众号内回复关键字“电子书”领取PDF格式的电子书籍(Python入门、异步编程、网络爬虫、高性能编程、数据分析与挖掘实战、Spring、Linux、CSS、VUE、自动化测试、程序员面试宝典等)。