Sora是美国人工智能研究公司OpenAI在2024年2月15发布的人工智能文生视频大模型。
Sora可以干什么?
Sora可以根据用户的文本提示创建最长60秒的逼真视频。
1、语言理解:文字生成视频
提示:一位时尚的女人走在东京的街道上,街道上到处都是温暖的发光霓虹灯和动画城市标志。她身穿黑色皮夹克,红色长裙,背着一个黑色钱包。她戴着墨镜,涂着红色口红。她自信而随意地走路。街道潮湿而反光,营造出五颜六色的灯光的镜面效果。许多行人四处走动。
提示:镜头跟随一辆带有黑色车顶行李架的白色老式 SUV 在陡峭的山坡上被松树包围的陡峭土路上加速,轮胎上扬起灰尘,阳光照在 SUV 上,因为它沿着土路飞驰,为场景投下温暖的光芒。土路缓缓蜿蜒向远处,看不到其他汽车或车辆。道路两旁的树木都是红杉,到处都是绿色植物。从后方可以看到这辆车可以轻松地沿着弯道行驶,看起来好像是在崎岖的地形上崎岖不平地行驶。土路本身被陡峭的丘陵和山脉所环绕,上面是湛蓝的天空和轻薄的云彩。
2、图像生成视频:创建流畅的循环的视频、为静态图像制作动画、在时间上向前或向后扩展视频等。
3、视频到视频编辑
4、丰富视频内容
5、连接视频:两个输入视频之间逐渐插值,在具有完全不同主题和场景构图的视频之间创建无缝过渡。
6、新兴的仿真功能
7、与世界互动:可以以简单的方式模拟影响世界状态的动作。例如,画家可以在画布上留下新的笔触,这些笔触会随着时间的推移而持续存在,或者一个人可以吃汉堡并留下咬痕。
8、模拟数字世界。
9、模拟人工过程,例如视频游戏。Sora 可以同时通过基本策略控制 Minecraft 中的玩家,同时还可以高保真地渲染世界及其动态。
10、3D 一致性。Sora 可以生成具有动态相机运动的视频。随着摄像机的移动和旋转,人物和场景元素在三维空间中始终如一地移动。
Sora出现影响有哪些?
Sora对于需要制作视频的艺术家、电影制片人或学生带来无限可能。对短视频创作者来说视频制作和剪辑变得更加容易。对普通人而言可以看到更多的高质量视频。
Sora真实能力怎么样?
以上图片均是由Sora制作生成视频截图。
Sora (openai.com)
Sora有局限性吗?
Sora 目前作为AI模拟器表现出许多局限性。例如,它不能准确地模拟许多基本相互作用的物理特性,比如玻璃破碎。其他交互,如吃食物,并不总能够模拟出物体状态的正确变化,例如在长时间样本中出现的不连贯性等。
Sora相关领域中外的差距大吗?
国内AI视频生成截图
Sora研发的目的只是AI视频制作吗?
Sora是OpenAI“教AI理解和模拟运动中的物理世界”计划的其中一步,标志着人工智能在理解真实世界场景并与之互动的能力方面实现飞跃 。
Sora未来畅想
Sora今天所拥有的能力表明,视频模型的持续发展是一条有充满想象的道路,未来或许可以实现真实世界与数字世界中事物交互。
领取专属 10元无门槛券
私享最新 技术干货