前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >快手「可灵」再进化!视频续写可达3分钟让全球网友炸锅

快手「可灵」再进化!视频续写可达3分钟让全球网友炸锅

作者头像
新智元
发布于 2024-06-27 11:34:39
发布于 2024-06-27 11:34:39
3290
举报
文章被收录于专栏:新智元新智元
新智元报道

编辑:编辑部

【新智元导读】没想到,刚刚上线了图生视频和视频续写功能的可灵AI,竟已在全世界互联网上引爆了视频创作的热潮!

最近,可灵AI直接让一位网友的家人群里炸锅了……

事情是这样的,这位网友的父亲需要做搭桥手术,为了给父亲鼓舞,他便试着用可灵AI把爷爷的两张老照片还原成了视频。

在下面这个视频中,爷爷正在朝鲜战场,担任营指导员。穿越时光隧道,1950年代风华正茂的爷爷,对着他挥了挥手。

这位网友把视频发到家人群后,群里直接炸了!

下面这张黑白的合影,是全家唯有的一张全家福。

当已经故去的人忽然动了起来,音容笑貌一如往昔,每个人都泪目了。

家人们久久不能平静,即使已过午夜,群里仍然不断有消息响起。

用AI还原老照片后,全家人仿佛一起经历了一场寻根之旅,从长辈口述的「家史」中,每个人都获得了更多的自我身份认同感。

网友「珏哥」在他的公众号「觉得有意思」里表示,在他看来,AI最大的意义就是成为一台超级造梦机器:安排自己做个美梦,一觉醒来就有继续去生活的劲头了。

歪果仁都「馋哭了」

是的,这几天快手可灵最新上线的图生视频和视频续写功能,不仅在国内掀起一波试用的热潮,还「馋哭」了一众外国网友。

如今,X上已经铺满了可灵生成和续写的视频。

比如这张著名的经典表情包,经过可灵的续写后终于有了大结局!

每一步都在意料之外,但似乎又在情理之中(手动狗头)

狗狗吃面也变得活灵活现。

要知道,曾经的快手可灵一出世,就让外国网友们发出心悦诚服的感叹:效果居然比Sora还要好!

同样是吃汉堡,可灵生成的「咬痕」就要比Sora更加逼真

一些申请到试用资格的用户纷纷表示「真香」。而那些不能亲自体验的国外网友,纷纷「跪求」帮忙生成。

可以说,可灵给全世界的开发者们,再次带来了来自中国的亿点点震撼!

作者:温维斯Wenvis

值得一提的是,由于太过爆火,快影App截至目前已有累计超过20万人排队申请。

所以说,这次可灵的两大全新功能,究竟强大在哪里?

图生视频

首先来看第一个功能——图生视频。

这一功能直接做到了化静为动,让我们从此可以按需定制视觉叙事。

可灵在文生视频上的诸多强大功能,也被一一完美融入了,比如创造逼真的运动场景、精确模拟物理特性、将复杂概念巧妙融合、输出电影级画质、自由调节视频纵横比等等。

上传一张图片,接下来,就是奇迹出现的时刻。

永远面带谜之微笑的蒙娜丽莎,竟然戴上了墨镜,瞟向观众们的小眼神,更多了一丝调皮和狡黠。

prompt: 蒙娜丽莎用手戴了眼镜

构建复杂时空一绝

业内都知道,模型在转换静态图像为动态视频时,如何细腻而准确地实现大幅度运动场景,要克服不少难点。

对此,可灵充分利用了基础模型架构中的3D时空联合注意力机制,在构建复杂时空运动方面,表现令人惊叹。

下面这个由静图生成的牧羊犬追球的视频,自然流畅,效果非常丝滑。

无论是牧羊犬一下一下晃动的耳朵,还是随风飘扬的毛发,看起来都很符合物理规律。

prompt: 可爱的牧羊犬在奔跑,网球在弹跳,温馨的氛围

汽车在公路上飞驰的这段视频,可灵对整体画面的处理效果简直堪称广告级大片。

不仅汽车疾速前行的姿态逼真自然,对向车道上接连不断的车流、道路两旁向后掠去的树木、虚化处理的隔离带,无不模拟出了疾驰的速度感,几乎挑不出破绽。

prompt:汽车在公路上高速行驶,速度感,广告片

文本指令控制视频,女孩一键转身

更厉害的是,可灵的图生视频模型还融入了强大的提示词融合技术。

这就意味着,用户可以对模型下达文本指令,来人为地掌控视频中对象的动态表现了。

比如上传这张女孩的照片后,普通的模型,可能会默认增加发丝飘动、花朵摇曳、水面闪烁波纹的效果。

但在可灵中,我们可以输入「转身背对镜头」的提示词。

模型输出的视频中,女孩就开始优雅转身,并且增添了转身瞬间微笑、眨眼的细节,显得更加自然生动。

可灵的这个新功能,也让我们的想象力可以充分放飞。

比如小编在看《权力的游戏》时经常想象的一个场景——「愤怒的巨龙,漫天飞沙,奇幻风格电影」,提示词输入后,幻想中的场景瞬间成真了!

巨龙昂首展翅,掀起漫天黄沙,咆哮声震耳欲聋

这种文本与图像意义的紧密联动,无疑对影视制作等行业意义重大。(看来好莱坞导演撤掉8亿美元摄影棚,的确是明智的选择)

从此,视觉叙事可以按需定制,许多行业必将掀起新的飓风。

此外,这个模型还能支持不同风格的图像输入,无论自然写实,还是风格化图像。

同时,它还兼容各种长宽比的图像输入,可以说是为国内各个短视频平台量身打造。

这张竖版的骑士,黑袍飞舞,光剑仙气环绕,氛围感瞬间拉满

实测效果

凭AI电影《山海奇境》刷屏全网的制作人陈坤,半年之后用可灵的图生视频功能重制了一遍《山海奇镜》的预告片。

留言区的网友直呼「有大片的味道」。果然AI一天,人间一年。

这位叫「海军爱摄影」的网友,直接将自己的摄影作品变成了视频。

奔跑的女孩与骆驼,黑白的色调,颗粒的老电影质感,把摄影作品中包含压迫感的内涵意蕴升华到了令人震撼的地步。

当世界名画开始动起来,会给人怎样的体验?

「JessyJang」用可灵让我们大开眼界。

无论是现代艺术的经典之作《The Son of Man》,还是著名油画《戴珍珠耳环的少女》《吹笛少年》,都忽然开始活灵活现。霍格沃茨城堡上的油画,原来是真实存在的?

B站up主「呜哩智绘」,用可灵的图生视频功能,生成了各个样子的戴珍珠耳环的少女。

人物动作、面部表情、手部细节、视频中的光影,都堪称完美。

「呜哩智绘」直言:这是「目前我玩过的最稳定好用的图生视频」。

网友也表示——

「喜好儿网」则用可灵让历史人物活了起来。

网友们惊呼,可灵做出的爱因斯坦简直跟纪录片一样。

up主「鑫訫向荣」直接把语文课本里的插画都还原了出来。还记得这些都是哪一课吗?

up主「花染色体TT」,干脆用可灵做了个「伪log」。

用几张12年前的照片,让记忆中的场面鲜活起来。此时,距离高考还有16天——

美女的照片,变成视频后美得更有冲击力了。

即使混进了一些奇怪的东西,看起来似乎也很自然。

视频续写

其次,是对算法挑战更大的「视频续写」。

它不仅要求模型理解视频的基本元素,以及更深层次的叙事结构,还需要创建新的情景,而且在视觉和主题上都要保持连贯。

在这一领域,可灵则成功地把强大的想象力和精细的可控性发挥得淋漓尽致。

随着功能的正式上线,所有视频立刻在原有基础上原地「+5秒」!

无论是文生视频还是图生视频,皆可适用。

这对于创作者来说,视频续写至关重要。因为这种强大的叙事能力,可以极大地拓展他们的创作边界。

无独有偶,Runway的Gen-2可支持将视频时间最高延续到18秒,每次点击「Extend」功能,可完成4秒的视频,而且能够保持人物的一致性。

同样,Pika也支持视频延续的功能,而且用户可以指定想要生成的时间,与原始视频无缝集成。

而上周,初创公司Luma AI发布的AI视频模型Dream Machine,直接就定位为「续写模型」,还能免费试玩。

各种表情包,成为网友们恶搞的对象,经过Dream Machine的想象,所有的静图都有了完美的后续。

可见,视频续写代表着整个AI视频模型发展未来,打破了传统视频编辑的界限。

多次续写,最长可达3分钟

更瞩目的是,可灵大模型甚至还能连续多次续写,这样的结果就是,我们最长能够生成长达约3分钟的连贯视频!

续写x1:一个女人站在雪地里,抬起右手摸了一下帽檐

续写x2:女人的手放下,并望向远方

深刻理解物理世界,合理且大幅度动作无破绽

可以看出,新生成的部分和原视频之间,依然保持着运动连贯性和物理的合理性,这正是基于可灵大模型对于物理运动的深入理解。

而这种续写,就给巧妙融入大幅度动作变化带来了可能,让视频的生动性大大提高。

续写x1:宇航员从月球表面跳起来,飞向太空

同样,在视频续写中也集成了文本控制机制,因此用户可以通过自定义提示词,为每段视频注入个性化的创意。

由此,我们想要的每次场景都可以平滑过渡,可以说是不放过咱们都任何一个灵感小火花!

文本控制续写,场景转换丝滑

比如这座古堡,我们既可以在场景中让「太阳落下,天空变暗,灯光渐亮」,随后让「灯光亮起,雾气氤氲」。

实测效果

而网友们用续写功能做出来的视频,效果简直一个比一个炸裂!

网友「石硕Simon」直接用可灵的续写功能创作了长达1分多钟的一镜到底。

多次续写的镜头,依然保持着令人叫绝的连贯性。

「PlayerKang」生成的59秒奔驰汽车大片,无论在连续性、稳定性和流畅性上都令人叫绝,已经接近了替代商业广告片的水平。

「西地宇宙CDVERSE」用可灵的视频续写功能,做出了一套古香古韵的「日出东方」大片。

整个视频,是用一张图片生成的长镜头。

每个镜头中的人物,始终保持着稳定。

技术积累

此次进化,可灵文生视频基础大模型被无缝整合到「图生视频」和「视频续写」功能中,带来了更丰富、灵活的视频创作体验。

这些能力,都基于快手在AI大模型时代的不断布局。

快手先后发布了,通用大语言模型「快意」,文生图大模型「可图」,还有Direct-a-Video、Video-LaVIT、I2V-Adapter、UNIAA等视频生成关键技术。

恰逢近日在美国西雅图举行的国际计算机视觉顶会CVPR 2024上,快手也同步发布了可灵大模型的图生视频和视频续写等最新功能,引起现场的强烈反响。

公开资料显示,今年快手共有8篇论文入选CVPR 2024,彰显了其在该领域的深厚研究功底。

除了凭借创新的技术在CVPR上大放异彩之外,作为一家引领行业发展的公司,还要用战略眼光将技术落地到应用。

就在即将开幕的2024世界人工智能大会(WAIC)上,快手将举办以「新AI·新应用·新生态」为主题的大模型技术生态论坛。

届时,不仅会发布最新的大模型技术,还包括快手大模型技术矩阵全景、应用和落地现状等一系列多维度、多方向的战略讨论。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2024-06-25,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 新智元 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
Python实现工学云自动签到打卡
本文仅用于学习,请勿用于非法商业!转载请注明本文出处! 本文参考地址01:https://github.com/yecca/moguding/blob/1.0/login.py 本文参考地址02:https://blog.csdn.net/weixin_39953845/article/details/111074929 前言 顶岗实习期间学校要求工学云打卡满两百天。但是每天上下班已经很累了,如果再上班期间强制记起打卡的事情反而只会增加工作负担!本文将会以爬虫的方式来解放双手,实现工学云每日定时
用户8988577
2022/12/27
3.2K0
Python实现工学云自动签到打卡
python3实现邮件的发送
使用的email和smtplib模块,这里简单介绍下smtplib.SMTP()类
dogfei
2020/07/31
3800
简单三步,用 Python 发邮件
0. 前言 发送电子邮件是个很常见的开发需求。比如你写了个监控天气的脚本,发现第二天要下雨,或者网站上关注的某个商品降价了,就可以发个邮件到邮箱来提醒自己。 使用 Python 脚本发送邮件并不复杂。不过在网页上搜了些教程,都亲测无效,发现或多或少有点问题,导致发送失败。所以今天我们就来讲讲如何使用 Python 发送邮件。 本文主要内容包括,了解发邮件的思路,发送邮件需要的一些设置,发送一封简单的邮件,发送一封包含附件的邮件,在写代码过程中我们需要注意哪些问题等等。(完整参考代码地址见文末) 1. 思
Crossin先生
2018/04/17
1.2K0
简单三步,用 Python 发邮件
python 使用stmp发送邮件
SMTP(Simple Mail Transfer Protocol)即简单邮件传输协议,它是一组用于由源地址到目的地址传送邮件的规则,由它来控制信件的中转方式。
py3study
2020/01/06
1.1K0
利用Python进行远程关电脑
import os import time import poplib import email import smtplib from email.header import decode_header from email.mime.text import MIMEText from email.header import Header # 读取Email,获取Email主题 def getEmailSubject(): read = poplib.POP3('pop.163.com')
Aidol
2020/07/23
6710
python发送邮件
要先在对应的邮箱服务器中开通stmp服务,然后再说上述代码中配置成相应的内容,就可以发送邮件了
会呼吸的Coder
2020/02/17
9650
python SMTP邮件发送
本例使用的时python2.7环境,python3的操作应该也是差不多的。 需要用到smtplib和email两个包。
py3study
2020/01/16
1.9K0
使用Python快速监控网站状态
群里有朋友问怎么样监控自己的网站运行情况,我这里把我用的分享给大家,使用Python运行哦。
青阳
2021/08/23
1.7K0
python邮件自动发送测试报告,看这篇文章就够了
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/100698.html原文链接:https://javaforall.cn
全栈程序员站长
2022/06/29
4940
python邮件自动发送测试报告,看这篇文章就够了
Python3实现自动发送邮件
首先了解SMTP(简单邮件传输协议),邮件传送代理程序使用SMTP协议来发送电邮到接收者的邮件服务器。SMTP协议只能用来发送邮件,不能用来接收邮件,而大多数的邮件发送服务器都是使用SMTP协议。SMTP协议的默认TCP端口号是25。
用户9925864
2022/07/27
3380
Python3实现自动发送邮件
Python 测试 SMTP 服务
SMTP 服务用于转发邮件,本文记录 Python 测试SMTP的方法。 SMTP SMTP(Simple Mail Transfer Protocol)即简单邮件传输协议,它是一组用于由源地址到目的地址传送邮件的规则,由它来控制信件的中转方式。 python的smtplib提供了一种很方便的途径发送电子邮件。它对smtp协议进行了简单的封装。 核心语法 创建 SMTP 对象 语法如下: import smtplib smtpObj = smtplib.SMTP( [host [, po
为为为什么
2022/08/06
1.5K0
Python 测试 SMTP 服务
Python发送邮件的例子
import smtplib from email.mime.text import MIMEText from email.header import Header # 第三方 SMTP 服务 mail_host="smtp.qq.com" #设置服务器 mail_user="12121212@qq.com" #用户名 mail_pass="1223333" #口令 sender = '121212@qq.com' receivers = ['xi121@qq.com'] # 接收邮件
py3study
2020/01/15
4830
python3 SMTP发送邮件
最近看了一个资料关于用python来实现SMTP发送邮件,觉得挺有意思就实践了一下。先简单介绍一下吧
行云博客
2022/05/10
6350
zabbix设置邮件告警
定义恢复操作,设置标题,及消息内容,随后设置一些细节,将恢复后的消息发送给具体的用户或组
dogfei
2020/07/31
1K0
zabbix设置邮件告警
python发送邮件案例分析
1、运用for循环,实现群发功能 接收方的昵称是统一的一个,可再优化一下,实现更加个性化,更加自由的发送邮件 from email.header import Header #处理邮件主题 from email.mime.text import MIMEText # 处理邮件内容 from email.utils import parseaddr, formataddr #用于构造特定格式的收发邮件地址 import smtplib #用于发送邮件 # 函数小工具 def _format_addr(s):
Elsa_阿尼
2021/07/28
8000
python接口自动化(三十二)--Python发送邮件(常见四种邮件内容)番外篇——上(详解)
  本篇文章与前边没有多大关联,就是对前边有关发邮件的总结和梳理。在写脚本时,放到后台运行,想知道执行情况,会通过邮件、SMS(短信)、飞信、微信等方式通知管理员,用的最多的是邮件。在linux下,Shell脚本发送邮件告警是件很简单的事,有现成的邮
北京-宏哥
2019/09/11
2.3K0
python接口自动化(三十二)--Python发送邮件(常见四种邮件内容)番外篇——上(详解)
【水水水文章】用 Python 发邮件
青柠大佬在寒假写了一个每日推兽图的项目, 我突发奇想,通过py爬虫,自动将图发送到邮箱,
土土
2022/09/26
2870
QQ 邮箱使用 SMTP 发送邮件报错:550 The From header is missing or invalid
👋 你好,我是 Lorin 洛林,一位 Java 后端技术开发者!座右铭:Technology has the power to make the world a better place.
Lorin 洛林
2024/04/12
8630
QQ 邮箱使用 SMTP 发送邮件报错:550 The From header is missing or invalid
实现定时任务
编辑 crontest.cron 文件,修改为 5,10,15,20,25,30,35,40,45,50,55,59 * * * * python hello.py >> ~/1.txt开始执行定时任务 (注意crontest.cron 文件路径和自己的一致):
算法与编程之美
2023/08/22
2170
实现定时任务
Python发送文本邮件
在运行机器学习等需要大量计算的程序时,可以在报错或者程序运行完成时,发送邮件提醒。
Michael阿明
2021/02/19
5820
相关推荐
Python实现工学云自动签到打卡
更多 >
LV.0
这个人很懒,什么都没有留下~
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档