首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

北大团队集结开源社区力量,复现 OpenAI 视频生成模型 Sora

北京大学袁粒团队联合兔展发起Open Sora 项目—— 旨在复现 OpenAI 的视频生成模型 Sora。由于资源有限,无法进行完整训练,因此希望通过开源社区筹集资源进行训练。

本项目希望通过开源社区的力量复现 Sora,由北大 - 兔展 AIGC 联合实验室共同发起,当前资源有限仅搭建了基础架构,无法进行完整训练,希望通过开源社区逐步增加模块并筹集资源进行训练,当前版本离目标差距巨大,仍需持续完善和快速迭代。

https://github.com/PKU-YuanGroup/Open-Sora-Plan

整体框架上,Open-Sora 由以下部分组成:

1.Video VQ-VAE:这是一个压缩视频到时间和空间维度的潜在表示的组件。它可以将高分辨率视频压缩成低维度的表示,便于后续的处理和生成。

2.Denoising Diffusion Transformer:去噪扩散变换器(Denoising Diffusion Transformer)这个组件用于从潜在表示中生成视频,通过逐步减少噪声来恢复视频的详细内容。

3.Condition Encoder:条件编码器(Condition Encoder)支持多种条件输入,允许模型根据不同的文本描述或其他条件生成视频内容。

更多细节查看:https://pku-yuangroup.github.io/Open-Sora-Plan/blog_cn.html

  • 发表于:
  • 原文链接https://page.om.qq.com/page/Oc260OzUStdhx5V9uFtHnm2Q0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券