首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

智谱AI新推“清影”工具:30秒生成视频,免费试用!

据ITBEAR科技资讯了解,CogVideoX的核心技术特点显著。为解决内容连贯性问题,智谱AI自主研发了一套高效的三维变分自编码器结构(3D VAE)。该结构能够将原始视频数据压缩至原始大小的2%,显著降低了视频扩散生成模型的训练成本和难度。同时,结合3D RoPE位置编码模块,该技术在时间维度上提升了帧间关系的捕捉能力,从而建立了视频中的长期依赖关系。

在可控性方面,智谱AI打造了一款端到端的视频理解模型,该模型能够为大量视频数据生成描述,增强了模型对文本的理解和对指令的遵循能力。这一创新确保了生成的视频更加符合用户的输入需求,并能够处理超长且复杂的prompt指令。

此外,CogVideoX模型采纳了一种将文本、时间、空间三维一体融合的transformer架构。该架构摒弃了传统的cross attention模块,设计了Expert Block以实现文本与视频两种不同模态空间的对齐,并通过Full Attention机制优化模态间的交互效果。

“清影”作为智谱AI推出的AI视频生成功能,其主要特点包括快速生成、高效的指令遵循能力、内容连贯性以及画面调度灵活性。用户只需30秒即可完成6秒视频的生成,即使是复杂的prompt,“清影”也能准确理解并执行。同时,生成的视频能够较好地还原物理世界中的运动过程,镜头也能流畅地跟随画面中的主体移动。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/O2al1HdwbiA8Z5huWijr0o5w0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券