前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Stable Diffusion用来生成视频

Stable Diffusion用来生成视频

原创
作者头像
算法一只狗
发布2024-10-01 10:21:44
220
发布2024-10-01 10:21:44
举报
文章被收录于专栏:算法一只狗

之前我曾经多次介绍过,可以一键生成视频的模型。包括能够有效解决视频闪烁的Rerender A Video模型

还有开源的CoDeF模型:

这些模型要不就是没有开源,要不就是有一定的上手难度。因此本期介绍简单易上手的Stable Video Diffusion。

它是由Stability AI发布的,一个基于图像模型稳定扩散的生成视频模型。

目前它已经提供了相应的模型和开源代码,普通人可以在20秒内简单上手。

Stability AI宣称,该视频模型可以轻松适应各种下游任务,包括通过对多视图数据集进行微调,或者从单个图像进行多视图合成。

稳定视频扩散以两种图像到视频模型的形式发布,能够以每秒 3 到 30 帧之间的可定制帧速率生成 14 和 25 帧。在不同模型对比来看,SVD模型比目前尚未开源的一些模型效果要好:

手把手教学

目前可以直接使用C solab尝试一下该模型生成的效果。可以登陆网站

点击下面任意一个代码链接Colab:

点击运行后,可以看到会生成一个网页链接:

打开网页后,就可以上传自己的图片进行视频转换了

下面我们来看看不同的类型这个模型能够转换的效果。

人物图片转换

在人物图片转换成视频可以看到,其像是转移了拍摄角度,且很好的保留原始图片的信息并做了额外背景的补全。

而在控制人物的表情方面,这个模型也能够有效的在细节上做控制。比如下面的这个视频,可以看到人物的眼睛有一个明显的上移。

风景图片转换

这里上传了一张蓝色汽车的图片。

从视频效果中可以看到,生成的效果使得汽车在运动,且车速较快,因为它的运动模糊效果很强烈。

这是一张描绘夜晚城市街道的图片,一辆银色的汽车停在路边。背景补全了不同视角的高楼大厦和霓虹灯牌。

动画图片转换

在动画风格的转换上,它能够很好的模拟出烟花的效果。比如上传的是一张静态的烟花图:

它则能够模拟出烟花的动画效果:

未来计划

目前仅仅开源了图片生成视频模型,但是未来将会把文本生成视频模型也一并开源。

目前可以加入到它的waitlist中尝试一下。

https://stability.ai/contact

好了,以上就是本期的所有内容,我是leo,我们下期再见~

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 手把手教学
    • 人物图片转换
      • 风景图片转换
        • 动画图片转换
        • 未来计划
        相关产品与服务
        图数据库 KonisGraph
        图数据库 KonisGraph(TencentDB for KonisGraph)是一种云端图数据库服务,基于腾讯在海量图数据上的实践经验,提供一站式海量图数据存储、管理、实时查询、计算、可视化分析能力;KonisGraph 支持属性图模型和 TinkerPop Gremlin 查询语言,能够帮助用户快速完成对图数据的建模、查询和可视化分析。
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档